Собственный ламповый ИИ 👨💻
Платить подписки и сливать данные чужим моделям мы считаем плохо😉
Вошли в стадию изучения собственных кластеров для ИИ.
Достали 2 старых MacBook M1 по 16Gb собрали в кластер через EXO. Получили около 28Gb общей памяти - уже неплохо, можно потестировать локальные модели и как они будут жить.
Что получилось проверить даже на таком небольшом объеме
🧠 Задачу OCR решает хорошо (Qwen3.6-35B)
🧠 Задачу CodeReview решает хорошо (Qwen3-Coder-30B)
Вот теперь думаем закупить парочку MacStudio или Nvidia DGX Spark 😵💫
У кого был опыт локальных серверов с ИИ?
👾 БГ | 📱 ТГ | 📱 ВК | 🤨 ДЗ | 📖 VC
Платить подписки и сливать данные чужим моделям мы считаем плохо😉
Вошли в стадию изучения собственных кластеров для ИИ.
Достали 2 старых MacBook M1 по 16Gb собрали в кластер через EXO. Получили около 28Gb общей памяти - уже неплохо, можно потестировать локальные модели и как они будут жить.
Что получилось проверить даже на таком небольшом объеме
🧠 Задачу OCR решает хорошо (Qwen3.6-35B)
🧠 Задачу CodeReview решает хорошо (Qwen3-Coder-30B)
Вот теперь думаем закупить парочку MacStudio или Nvidia DGX Spark 😵💫
У кого был опыт локальных серверов с ИИ?
👾 БГ | 📱 ТГ | 📱 ВК | 🤨 ДЗ | 📖 VC