Видео недоступно для предпросмотра
Смотреть в Telegram
👀 Своя собственная LLMка локально на своем кудахтере
ℹ️ Все началось с того, что с коллегой обсуждали теоретическую возможность подконнектить Confluence к какой-нибудь LLM и сконструировать на базе этого свою собственную RAG (Retrieval-Augmented Generation) систему с блэкджеком извлечением и генерацией.
Начали с того, что идея-то сама отличная, вот только безопасники не позволят связывать Confluence с каким-нибудь внешним контуром, а разворачивать свою собственную LLM будет дорого по ресурсам. Я тут не согласился, мол, почему прям дорого по ресурсам?
Мне никто не поверил и пришлось показывать на ноутбуке чудо работающего локально DeepSeek. Оказалось, что многие и не в курсе про такую забавную штуку, как Ollama, так что делюсь этим тут. 🦙 В двух словах, что это такое: Ollama — это клиент для запуска лингвистических моделей, в том числе и локально прямо на своем ПК. Более того, прямо через этот клиент себе можно эту модель и скачать. Какие Use Cases есть для этой штуки? Вот в самолете вы летите, интернета нет, а вы уже 15 минут не общались с искусственным интеллектом... Ну либо если вам нужна максимальная конфиденциальность в работе с LLM. Все, больше придумать не могу. 🤯 Это чисто баловство, поскольку очевидно, что крутую обученную модель на обычном ноуте не запустить. На приложенном видео я запускаю модель deepseek-r1-8b (8 миллиардов параметров), это почти SLM (small language models).
Кратко, на что обратил внимание:
🟢 На ответ уходит 40-45 секунд, хотя на видео заснял рекордные 31,9;
🟢 На моем Asus Vivobook 16 ГБ оперативки моментально забились на 87%;
🟢 Модель слабенькая, поэтому иероглифы в ответах, серьезные лингвистические ошибки, да и вообще корявые фразы — обычное дело;
🟢 Всего 5 ГБ на жестком диске.
Учитывая, что это одна из самых слабеньких моделей из предлагаемых Ollama, мне кажется, это все весьма классно (хотя есть и еще проще на 4 миллиарда параметров, но их я не тестил). В любом случае, в списке доступных есть "мощные" модели на 120b, доступные для скачивания, так что кто хотел бы побаловаться — дерзайте. 💪
Я себе все это дело скачивал перед двумя перелетами — вроде как в самолете играться буду, но в итоге тупо все перелеты проспал (даже не покушал). 😭
#confluence #RAG #AI #LLM #системныйанализ #SystemAnalysis
ℹ️ Все началось с того, что с коллегой обсуждали теоретическую возможность подконнектить Confluence к какой-нибудь LLM и сконструировать на базе этого свою собственную RAG (Retrieval-Augmented Generation) систему с блэкджеком извлечением и генерацией.
Начали с того, что идея-то сама отличная, вот только безопасники не позволят связывать Confluence с каким-нибудь внешним контуром, а разворачивать свою собственную LLM будет дорого по ресурсам. Я тут не согласился, мол, почему прям дорого по ресурсам?
Нам же не нужна какая-нибудь GPT-5 на один триллион параметров. Для работы в конфлю нам будет достаточно модели попроще. Я вон у себя даже на ноуте запустил простенькую модельку через Ollama, так что при желании можно будет выделить сервер под свою модель.
Мне никто не поверил и пришлось показывать на ноутбуке чудо работающего локально DeepSeek. Оказалось, что многие и не в курсе про такую забавную штуку, как Ollama, так что делюсь этим тут. 🦙 В двух словах, что это такое: Ollama — это клиент для запуска лингвистических моделей, в том числе и локально прямо на своем ПК. Более того, прямо через этот клиент себе можно эту модель и скачать. Какие Use Cases есть для этой штуки? Вот в самолете вы летите, интернета нет, а вы уже 15 минут не общались с искусственным интеллектом... Ну либо если вам нужна максимальная конфиденциальность в работе с LLM. Все, больше придумать не могу. 🤯 Это чисто баловство, поскольку очевидно, что крутую обученную модель на обычном ноуте не запустить. На приложенном видео я запускаю модель deepseek-r1-8b (8 миллиардов параметров), это почти SLM (small language models).
Кратко, на что обратил внимание:
🟢 На ответ уходит 40-45 секунд, хотя на видео заснял рекордные 31,9;
🟢 На моем Asus Vivobook 16 ГБ оперативки моментально забились на 87%;
🟢 Модель слабенькая, поэтому иероглифы в ответах, серьезные лингвистические ошибки, да и вообще корявые фразы — обычное дело;
🟢 Всего 5 ГБ на жестком диске.
Учитывая, что это одна из самых слабеньких моделей из предлагаемых Ollama, мне кажется, это все весьма классно (хотя есть и еще проще на 4 миллиарда параметров, но их я не тестил). В любом случае, в списке доступных есть "мощные" модели на 120b, доступные для скачивания, так что кто хотел бы побаловаться — дерзайте. 💪
Я себе все это дело скачивал перед двумя перелетами — вроде как в самолете играться буду, но в итоге тупо все перелеты проспал (даже не покушал). 😭
#confluence #RAG #AI #LLM #системныйанализ #SystemAnalysis