ЛОКАЛЬНЫЕ ИИ МОДЕЛИ И ПОЧЕМУ ЭТО КРУТО Ч1
Локальная модель — это ИИ без интернета, который живет на твоей машине, и его можно встроить в любой твой проект. Всё это без: API ключа, оплаты токенов, ухода данных куда-то в облако.
Огромное количество публичных ИИ моделей уже существует, и ты можешь выбрать нужные тебе. Одной из важных особенностей также служит то, что ты можешь ТЮНИТЬ модель под себя и улучшать под свои нужды.
Оптимизируй свои проекты с добавлением локальных ИИ, чтобы тратить меньше.
ГДЕ ВЗЯТЬ И КАК ЗАПУСТИТЬ ЛОКАЛЬНУЮ МОДЕЛЬ
Выбрать одну из 2+ миллионов моделей ты можешь тут — https://huggingface.co/
Удобная сортировка по размерам параметров, для каких задач, под какие приложения подойдёт.
Какую модель выбрать?
Прежде чем качать первую попавшуюся (хотя можешь и так), надо разобраться вообще в свойствах этих моделей.
Каждая модель обладает своим количеством параметров (от 1B до >500B), чем больше параметров, тем модель умнее, но требует более сильного железа.
Есть несколько популярных моделей:
— Llama (Meta)
Самые популярные open-source модели. Хорошо работают на английском, с русским хуже.
— Qwen (Alibaba)
Лучший выбор, если тебе важен русский язык. При одинаковом размере часто умнее Llama. Qwen2.5 на 7B — база для локального запуска.
— Gemma (Google)
Лёгкие модели, хорошо работают на слабом железе. 2B версия шустрая и подойдёт для почти любого железа.
Как подобрать под своё железо
Ориентировочные цифры, учитывай, что для разных моделей — они все равно варьируются.
8GB RAM/VRAM — 2-3B модели
16GB RAM/VRAM — 7-8B модели
24GB+ RAM/VRAM — 14B+ модели
СКАЧАЛ МОДЕЛЬ, КАК ЕЁ ЗАПУСТИТЬ
Есть много разных приложений для этого. Найти их ты можешь тут в разделе apps.
Чем я пользуюсь и что могу посоветовать:
— Ollama. Самый простой способ использовать локальные модели.
1. Качаем у них на сайте. Справа сверху кнопка Download.
2. После установки запускаем приложение.
3. Видим дефолтный для ИИ интерфейс:
— New chat.
— Settings. Тут можете настроить, где будут храниться ваши модели, контекст, автообновление моделей, разрешение на облачные модели и веб-поиск.
4. Для установки модели выбери подходящую тут (нажми use this model и там выбери Ollama) или тут (просто копируй команду), в настройках выбирай папку для моделей. Далее заходи в командную строку (WIN+R > cmd) и пиши команду:
cd *директория папки для моделей*
вставляй команду, которая нужна для установки
Дождись конца скачивания и на этом кончится твоя установка. Автоматически в Ollama появится модель и ты УЖЕ сможешь её использовать.
— LM Studio. Более удобный и приятный GUI.
1. Скачиваем приложение у них на сайте.
2. При запуске приложение сразу предложит скачать первую модель.
3. Приложение предлагает выбрать настройки:
— Turn on Developer Mode. Включи, если будешь делать локальный API сервис, логи и если будешь подключать модель к своему коду.
— Start local LM service on login. Если хочешь, чтобы был автозапуск при запуске ПК.
4. Заходишь в раздел Model Search и там пишешь названия нужных тебе моделей. Сразу можешь прочитать особенности, информацию о модели и скачать.
5. После заходишь в Chat и можешь общаться с моделью.
Особенности и преимущества LM Studio:
— Визуальный интерфейс. Можно сразу скачать модель одним кликом, также видишь контекст, количество потраченных токенов, за сколько был дан ответ.
— Больше настроек. Это даёт более продвинутый и кастомизированный опыт.
— Пресеты для моделей. Можешь добавить кастомный системный промпт, настроить температуру, выбрать количество ядер CPU и ещё немного гиковских настроек.
ВЫВОДЫ
В этой части мы разобрались с тем: что такое локальные модели, их преимущества, где взять модель, как выбрать модель, как подобрать под своё железо, как запустить модель, какие приложения подойдут для этого.
В следующей части я планирую показать, как их можно использовать для разных задач. Сейчас попробуй потыкать пару разных моделей в каком-либо приложении.
Делись, реагируй, пиши комментарии — это лучшее, что ты можешь сделать для поддержки меня. Спасибо!
Локальная модель — это ИИ без интернета, который живет на твоей машине, и его можно встроить в любой твой проект. Всё это без: API ключа, оплаты токенов, ухода данных куда-то в облако.
Огромное количество публичных ИИ моделей уже существует, и ты можешь выбрать нужные тебе. Одной из важных особенностей также служит то, что ты можешь ТЮНИТЬ модель под себя и улучшать под свои нужды.
Оптимизируй свои проекты с добавлением локальных ИИ, чтобы тратить меньше.
ГДЕ ВЗЯТЬ И КАК ЗАПУСТИТЬ ЛОКАЛЬНУЮ МОДЕЛЬ
Выбрать одну из 2+ миллионов моделей ты можешь тут — https://huggingface.co/
Удобная сортировка по размерам параметров, для каких задач, под какие приложения подойдёт.
Какую модель выбрать?
Прежде чем качать первую попавшуюся (хотя можешь и так), надо разобраться вообще в свойствах этих моделей.
Каждая модель обладает своим количеством параметров (от 1B до >500B), чем больше параметров, тем модель умнее, но требует более сильного железа.
Есть несколько популярных моделей:
— Llama (Meta)
Самые популярные open-source модели. Хорошо работают на английском, с русским хуже.
— Qwen (Alibaba)
Лучший выбор, если тебе важен русский язык. При одинаковом размере часто умнее Llama. Qwen2.5 на 7B — база для локального запуска.
— Gemma (Google)
Лёгкие модели, хорошо работают на слабом железе. 2B версия шустрая и подойдёт для почти любого железа.
Как подобрать под своё железо
Ориентировочные цифры, учитывай, что для разных моделей — они все равно варьируются.
8GB RAM/VRAM — 2-3B модели
16GB RAM/VRAM — 7-8B модели
24GB+ RAM/VRAM — 14B+ модели
СКАЧАЛ МОДЕЛЬ, КАК ЕЁ ЗАПУСТИТЬ
Есть много разных приложений для этого. Найти их ты можешь тут в разделе apps.
Чем я пользуюсь и что могу посоветовать:
— Ollama. Самый простой способ использовать локальные модели.
1. Качаем у них на сайте. Справа сверху кнопка Download.
2. После установки запускаем приложение.
3. Видим дефолтный для ИИ интерфейс:
— New chat.
— Settings. Тут можете настроить, где будут храниться ваши модели, контекст, автообновление моделей, разрешение на облачные модели и веб-поиск.
4. Для установки модели выбери подходящую тут (нажми use this model и там выбери Ollama) или тут (просто копируй команду), в настройках выбирай папку для моделей. Далее заходи в командную строку (WIN+R > cmd) и пиши команду:
cd *директория папки для моделей*
вставляй команду, которая нужна для установки
Дождись конца скачивания и на этом кончится твоя установка. Автоматически в Ollama появится модель и ты УЖЕ сможешь её использовать.
— LM Studio. Более удобный и приятный GUI.
1. Скачиваем приложение у них на сайте.
2. При запуске приложение сразу предложит скачать первую модель.
3. Приложение предлагает выбрать настройки:
— Turn on Developer Mode. Включи, если будешь делать локальный API сервис, логи и если будешь подключать модель к своему коду.
— Start local LM service on login. Если хочешь, чтобы был автозапуск при запуске ПК.
4. Заходишь в раздел Model Search и там пишешь названия нужных тебе моделей. Сразу можешь прочитать особенности, информацию о модели и скачать.
5. После заходишь в Chat и можешь общаться с моделью.
Особенности и преимущества LM Studio:
— Визуальный интерфейс. Можно сразу скачать модель одним кликом, также видишь контекст, количество потраченных токенов, за сколько был дан ответ.
— Больше настроек. Это даёт более продвинутый и кастомизированный опыт.
— Пресеты для моделей. Можешь добавить кастомный системный промпт, настроить температуру, выбрать количество ядер CPU и ещё немного гиковских настроек.
ВЫВОДЫ
В этой части мы разобрались с тем: что такое локальные модели, их преимущества, где взять модель, как выбрать модель, как подобрать под своё железо, как запустить модель, какие приложения подойдут для этого.
В следующей части я планирую показать, как их можно использовать для разных задач. Сейчас попробуй потыкать пару разных моделей в каком-либо приложении.
Делись, реагируй, пиши комментарии — это лучшее, что ты можешь сделать для поддержки меня. Спасибо!