Как установить языковые модели локально на свой компьютер на примере Ollama

Нейросети и ИИ-агенты становятся все более популярными в наше время. Именно благодаря ИИ можно быстро создавать всевозможный контент и решать повседневные задачи: создавать тексты, генерировать изображения и видео, решать вопросы, кодить и много чего еще.

Для решения такого спектра задач в интернете уже существует масса всевозможных ИИ-сервисов. Некоторые из них ориентированы на узконаправленные сферы, а некоторые отлично подходят для решения повседневных вопросов.

Среди популярных вариантов у нас есть ChatGPT, Copilot, Gemini, Grok, Claude, DeepSeek и другие. Очевидно, что доступ к ним осуществляется через интернет и к тому же они сохраняют все ваши запросы для дальнейшего обучения языковой модели. Но что, если вы хотите использовать ИИ без интернета, локально и на своем компьютере? Причин на то может быть несколько, но мы поговорим о них ниже. Решение однозначно есть и в этом гайде я расскажу, как можно установить языковую модель локально на свой ПК. Для этого мы рассмотрим Ollama и LM Studio.

Contents

Зачем это нужно?

Локальная установка больших языковых моделей (LLM) на свой ПК может стать неплохим решением. Тут можно выделить вполне очевидные и не очень причины, для чего вам может пригодиться локальный ИИ:

Конфидециальность. При использовании онлайн-сервисов ваши запросы попадают на сервер и хранятся там. Компании могут использовать их для анализа и обучения своих моделей, что подходит не всем. К тому же, если вы хотите работать с конфиденциальными и чувствительными данными, то не стоит отправлять это все нейросетям. Лучше установить локальную языковую модель, которая не подключена к интернету. Таким образом ваша информация будет надежно защищена.
Автономность. Установка локальной языковой модели позволит вам пользоваться ей даже без подключения к интернету. Вне зависимости от региона и подписки, ваш ИИ будет доступен всегда, даже если вы планируете работать из самых удаленных мест с нестабильным интернетом.
Цена. Используя свою языковую модель, вы можете забыть про оплату подписок и своего интернет провайдера. Такие Open-source модели, как Llama, DeepSeek работают абсолютно бесплатно. Единственное, за что вы платите – это электроэнергию на произведение всех расчетов.
Автоматизация. Продвинутые пользователи могут использовать языковую модель для упрощения работы с рутинными задачами, созданием ИИ-агента, сценариев в N8n, внедрения ассистента в различные сайты, приложения или сервисы.
Кастомизация. Локальную языковую модель можно легко кастомизировать и настроить под свои нужды. Если у вас слабый компьютер, можно использовать лайтовые модели для решения простых задач. Если же нужно работать с большим массивом данных и получать качественные результаты, то можно поставить более продвинутую модель. Кроме этого, к языковой модели можно создать свои интеграции, тем самым расширяя функционал. Стоит отметить, что результат и скорость работы будет напрямую зависеть от производительности вашего ПК, особенно видеокарты.
Обучение. Установка и работа с ИИ позволит вам больше узнать о нейросетях и понять принцип работы. Учитывая, что языковая модель будет храниться у вас на ПК, вы сможете изучить их архитектуру и поэкспериментировать.
Отсутствие ограничений. Популярные ИИ-модели часто имеют цензуру, ограничение по бесплатным токенам и предлагают приобрести подписку, чтобы продолжить получать качественные ответы. Локальные же модели ограничены только вашими мощностями. Конечно, Open-source модель не всегда может конкурировать с гигантами индустрии, но для выполнения своих узконаправленных задач этого может быть достаточно.

Какие минимальные системные требования для работы с ИИ

Тут нет однозначного ответа, поскольку это зависит от выбранной языковой модели. Работать с ИИ можно как на десктопе, так и ноутбуке под управлением Windows, Mac или Linux. Самые изощренные энтузиасты могут даже использовать для этого одноплатный компьютер Raspberry-Pi. В целом можно ориентироваться на следующие параметры:

Процессор: Поддержка инструкций AVX2, 2+ ядра, частота 1.5 ГГц.
Оперативная память: Минимум 16 ГБ (8 ГБ подойдет для простых моделей, но это скажется на общей производительности и результате).
Видеокарта: NVIDIA с поддержкой CUDA и минимум 8 ГБ видеопамяти. Число CUDA ядер можно найти в официальном списке от NVIDIA. ИИ можно использовать и без видеокарты, силами процессора, но это значительно скажется на производительности.
SSD: 5-400 ГБ свободного места на диске. Рекомендуется использовать SSD/NVMe накопитель для быстрого чтения данных.
ОС: Windows 10 (64-бит); MacOS 11 Big Sur; Linux.

Примерный список языковых моделей под определенные задачи и их обозначения

Qwen 2.5, Phi3: подходят для генерации и редактирования кода.
DeepSeek-R1: работа с текстом, задачами и создание идей.
Llama 3.2: используется для общих задач, например, создания текста, генерации идей или ответа на вопросы.
Llava: умеет создавать и читать изображения.

Обозначения LLM

“7B”, “13B”, “30B”:

“B” означает количество параметров в биллионах. Для моделей на 1.5B-3B требуется гораздо меньше памяти, чем для 10B и выше.
Чем больше параметров, тем сложнее и точнее модель может решать задачи, но она требует больше ресурсов компьютера и занимает больше места на диске.

“Q”

“Q” обозначает уровень квантования или сжатия, чтобы модель занимала меньше памяти. Например, Q8_0 использует квантование до 8 бит, что позволяет добиться лучшего качества за счет своего большого размера. Чем меньше бит квантования, тем меньше размер модели, выше скорость, но ниже качество выдаваемого результата.

Ollama

Ollama позволяет ставить языковые модели на свой ПК за считанные минуты. Этот open-source проект отличается своим минимализмом, простотой установки и широким выбором LLM, таких как Llama, Mistral, Gemma, DeepSeek, Phi-4 и других. Если вы новичок и не слишком разбираетесь в технических аспектах, то Ollama станет отличным вариантом. Работа с ней осуществляется через командную строку, но для большего удобства рекомендуется поставить Docker + Open WebUI. Список всех интеграций можно посмотреть здесь на GitHub.

Базовая установка Ollama

Переходим на официальный сайт Ollama и скачиваем установщик для своей ОС, например, Windows.
Открываем файл и устанавливаем инструментарий Ollama на ПК.
После завершения установки открываем командную строку (CMD). Ее можно открыть через меню Пуск или с помощью комбинации Win+R написав cmd.
Вводим в командной строке ollama run llama3.2. Для установки других языковых моделей можно использовать команды из документации, например, ollama run deepseek-r1:7b
Ждем пока языковая модель установится и запустится на компьютере. Чтобы убедиться, что ИИ работает, можно перейти по локальному адресу в браузере: localhost:11434
Сразу после завершения установки вы можете начать диалог с ИИ прямо внутри командной строки, но такой способ общения подойдет не всем.
Для завершения диалога используем команду /bye

Установка Docker и WebUI

Если вам неудобно работать с языковой моделью через Терминал/Командную строку, то вам однозначно стоит установить OpenWebUI и Docker.

Что за Docker и зачем он нужен?

Docker позволяет запускать приложения (контейнеры) в локальном окружении/среде. Внутри таких контейнеров находятся все необходимые данные: библиотеки, код, и остальные параметры. Обычно он используется для упрощенной разработки, тестирования программ, чтобы в дальнейшем разместить проект.

В нашем случае Docker пригодится для развертывания Web-интерфейса, чтобы взаимодействовать с языковой моделью прямо из браузера.

Переходим на сайт Docker и скачиваем установщик для Windows или любой другой ОС.
Устанавливаем Docker и перезагружаем компьютер.
После перезапуска в Windows откроется окно Docker с авторизацией по почте. Создаем аккаунт или используем для этого аккаунт от другого сервиса, например, Google.
Docker должен открыть командную строку и установить окружение Linux для Windows (при помощи команды wsl). Без установки Linux, Docker Desktop работать не будет.
После успешной установки, переходим на страницу GitHub OpenWebUI и листаем до раздела Installation with Default Configuration.
Копируем нужную команду, например, из раздела “If Ollama is on your computer” и вставляем ее в Командную строку. Начнется установка WebUI.
После успешной установки, в Docker Desktop появится новый контейтер open-webui с портом 3000:8080.
Открываем ссылку в браузере localhost:3000 и попадаем в личный кабинет интерфейса WebUI.
Нажимаем кнопку “Get started”.
Создаем локальный аккаунт указывая свою почту, имя и пароль.
После входа в аккаунт вы попадете в интерфейс для общения с языковой моделью, например, Llama 3.2:Latest.

Функционал такого сайта практически не отличается от популярных нейросетей ChatGPT, DeepSeek или Grok. Переключаться между языковыми моделями можно прямо из интерфейса (при условии, что вы установили другие LLM).

На этом настройка Ollama и OpenWebUI закончена. Теперь вы можете общаться с любой языковой моделью прямиком из браузера на своем компьютере. Если у вас остались вопросы, или вы столкнулись с проблемами, рекомендую обратиться в FAQ ниже.

LM Studio

LM Studio имеет схожие возможности с Ollama. Этот сервис имеет привлекательный интерфейс (GUI) и большой набор языковых моделей: Llama, Mistral, DeepSeek и других. LM Studio можно рекомендовать как новичкам, так и энтузиастам, которые хотят использовать ИИ в стиле ChatGPT прямо на своем ПК и без лишних проблем. Весь список моделей можно посмотреть на официальном сайте.

Установка LM Studio

Переходим на официальный сайт LM Studio и скачиваем с главной страницы установщик под свою ОС.
Запускаем установочный файл и следуем инструкциям мастера установки.
После установки запускаем LM Studio. Вы увидите интерфейс с разделами для загрузки моделей и чата.
В LM Studio открываем вкладку Download и выбираем нужную модель, например, DeepSeek, Llama, Mistral.
Выбираем вариант модель с квантированием, например Q4 и устанавливаем.
Переходим в раздел AI Chat (иконка чата), выбираем загруженную модель и начиаем общение.

Отличия между Ollama и LM Studio

Ollama	LM Studio
Минимальный интерфейс	Удобный графический интерфейс (GUI)
Гибкая кастомизация	Широкий набор готовых функций
Большой каталог доступных моделей (LLM)	Большой каталог доступных моделей (LLM)
Кроссплатформенность	Кроссплатформенность
Открытый исходный код	Быстрый старт без лишних настроек

FAQ

Какие операционные системы поддерживаются?

Оба сервиса поддерживают Windows, MacOS и Linux, однако системные требования и процесс установки может отличаться.

Я хочу узнать больше об Ollama и языковых моделях. Есть ли наглядное видео?

Рекомендую посмотреть 3-часовой гайд от FreeCodeCamp.org, где объясняются все аспекты использования языковых моделей и их настройка через Ollama.

Какие минимальные системные требования для использования ИИ?

Процессор: Поддержка инструкций AVX2, 2+ ядра, частота 1.5 ГГц.

Оперативная память: Минимум 16 ГБ (8 ГБ подойдет для простых моделей, но это скажется на общей производительности и результате).

Видеокарта: NVIDIA с поддержкой CUDA и минимум 8 ГБ видеопамяти. Число CUDA ядер можно найти в официальном списке от NVIDIA. ИИ можно использовать и без видеокарты, силами процессора, но это значительно скажется на производительности.

SSD: 5-400 ГБ свободного места на диске. Рекомендуется использовать SSD/NVMe накопитель для быстрого чтения данных.

ОС: Windows 10 (64-бит); MacOS 11 Big Sur; Linux.

Можно ли установить LLM на свой VPS (виртуальный сервер)?

Такой вариант вполне возможен даже если хостинг-провайдер не предоставляет выделенный GPU. Однако VPS больше подойдут для создания автоматизаций и внешнего подключения ИИ при помощи API ключа.

Если вам нужна локальная языковая модель на удаленном сервере, рекомендую рассмотреть Google Cloud/Colab, Azure, AWS ImmerseCloud и другие.

Как остановить работу ИИ?

Можно использовать один из нескольких способов:

Отключить ИИ можно при помощи команды /bye в Командной строке
Через Диспетчер задач завершить процесс Ollama.exe
Выключить контейнер в Docker Desktop

Как обновлять установленные языковые модели?

Пишем в Командной строке команду, чтобы узнать версию установленной LLM: ollama list
Далее пишем следующую команду с нужной языковой моделью, которую вы хотите обновить: ollama pull llama3.2. Список моделей можно брать с официального сайта Ollama.
Проверяем новую версию повторной командой: ollama list
Дополнительно можно произвести очистку кэша, чтобы избежать конфликтов с новыми версиями: ollama clear-cache

Как проверить список загруженных языковых моделей?

Введите в Командной строке команду: ollama list
Проверить установленные LLM можно также через интерфейс OpenWebUI

Как удалить языковую модель с компьютера?

Пишем в Командной строке следующую команду с выбраной языковой моделью, например, llama 3.2: ollama rm llama3.2
Дополнительно можно проверить папку /.ollama/models/blobs , которая находится в Моих документах пользователя

Как посмотреть производительность ИИ после каждого запроса?

В командной строке вводит следующую команду: ollama run llama3.2 --verbose (вместо llama 3.2 вводим другое имя модели, если используется другая LLM).
Вводим любой запрос в Командной строке, чтобы протестировать производительность.

Как посмотреть производительность видеокарты во время работы с ИИ?

Введите команду: nvidia-smi -l 1. Эта команда позволит отслеживать ресурсы видеокарты в реальном времени. Полная документация по видеокартам от NVIDIA и AMD доступна на странице GitHub.

Какая языковая модель самая лучшая на текущий момент?

Топ языковых моделей можно посмотреть в таблице WebDev Arena, но стоит учитывать, что эти цифры не могут отражать фактической производительности и эффективности в зависимости от ваших задач и запросов. Некоторые модели могут лучше справляться с написанием кода, созданием картинок, или написания оригинальных текстов.

Я хочу поставить ChatGPT/Grok/Gemini себе на компьютер. Это возможно?

Нет. Это проприетарные языковые модели, которые не предназначены для распространения пользователями.

Где хранятся установленные модели по умолчанию?

Windows: C:\Users<username>.ollama\models
MacOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models

Что делать если моя языковая модель работает очень медленно?

Скорее всего вы установили модель с большим количеством параметров, например, 7B, 30B. Попробуйте установить ту же модель, но с меньшим количеством параметров: 1.5B-3B. Такие версии требуют меньше ресурсов компьютера и работают быстрее.

Как продолжить обучение локальной модели?

Это крайне сложный процесс, который потребует много дополнительных действий. Здесь это не рассматривается. Как вариант, вы можете давать обратную связь нейросети после каждого ответа, чтобы улучшать качество ответов.

А поддерживаются ли русскоязычные языковые модели от Yandex, Sber и других?

Нет. Они не Open-source и не предназначены для локального использования.

В заключении

Установить языковую модель на свой компьютер теперь не кажется чем-то невозможным. Теперь любой пользователь может использовать ИИ в качестве полезного инструмента в зависимости от своего технического уровня, требуемых функций и конкретных потребностей.

Ollama ориентирован на тех, кто ищет простые, удобные и гибкие в использовании LLM. LM Studio подойдет тем, кто ищет дополнительные функции и возможности для быстрого размещения. Даже если вы не найдете особого применения в таких локальных языковых моделях, данный способ позволит поближе понять принцип работы нейросетей.

ASK QUESTION 📩

DONATE 💰

Share on Social Media