🚀 Локальный ИИ-сервер на Mac

Если хочешь запускать модели вроде Qwen, Llama или Mistral прямо на своем Mac — обрати внимание на проект Osaurus. Это open-source сервер для локального запуска LLM, который полностью оптимизирован под Apple Silicon и работает через MLX — фреймворк машинного обучения от Apple. По сути он превращает твой Mac в локальный AI-сервер, к которому можно обращаться как к OpenAI API.

Самое интересное — он полностью локальный. Модели скачиваются и запускаются прямо на твоем устройстве, поэтому данные никуда не отправляются и интернет вообще не обязателен. Поддерживаются популярные модели вроде Qwen, Llama, Gemma и Mistral, а при необходимости можно подключать и облачные провайдеры вроде OpenAI или

Для разработчиков это особенно удобно. Osaurus предоставляет API, совместимый с OpenAI и Ollama, поэтому многие существующие инструменты и библиотеки работают без изменений. Можно подключать агентов, плагины, автоматизацию задач и даже давать ИИ доступ к файлам, git-репозиториям или браузеру.

Если давно хотел локальный ИИ прямо на ноутбуке — это один из самых удобных и быстрых способов начать.



установка через Homebrew
brew install --cask osaurus

запуск локального AI-сервера
osaurus

проверить список моделей
curl http://127.0.0.1:1337/v1/models

# пример запроса как к OpenAI API
curl http://127.0.0.1:1337/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama-3.2-3b-instruct-4bit",
"messages": [
{"role":"user","content":"Explain transformers in simple words"}
]
}'

репозиторий проекта
https://github.com/osaurus-ai/osaurus

🎯'https://t.me/addlist/2Ls-snqEeytkMDgy' rel='nofollow'>Полезные Мл-ресурсы 🚀 Max

https://www.youtube.com/shorts/KCvJKHE1tw0