Репост из: Осцилляции WaveCut
Видео недоступно для предпросмотра
Смотреть в Telegram
ds4.c - — маленький inference engine под Metal для DeepSeek V4 Flash. 💻
C/Objective-C/Metal, свои GGUF, CLI, локальный сервер с OpenAI/Anthropic-compatible API, tool calls, streaming.
Двухбитный квант влазит в Маки со 128 ГБ памяти. q4 требует 256+ GB.
На MacBook Pro M3 Max 128 GB заявлено около 26.7 ток/с на коротком prompt и 21.5 ток/с после 11.7k токенов контекста. Движок не держит модель онлайн, загружает и выгружает её между запросами почти мгновенно, используя memory mapping.
Мой товарищ поднял это на MacBook M5 Max 128 GB и великодушно записал для нас демку. У меня челюсть, честно, немного отвисла при просмотре.
Для агентов там тоже есть мясо: ds4-server умеет /v1/chat/completions, /v1/messages, SSE streaming, tool calls и оффлод KV cache на диск. Клиенты любят присылать один и тот же огромный prefix заново, а движок умеет сохранять KV на диск и переиспользовать его между запросами. В README прямо советуют на 128 GB держать контекст где-то в районе 100–300k, потому что полный 1M контекст сам по себе отъедает десятки гигабайт.
Ограничения: Metal-only, один live graph/session, параллельные запросы ждут очередь, стандартный GGUF не подсунешь, CPU path лучше не трогать — автор пугает крашем macOS kernel и сухо резюмирует: software sucks.
Счастливые обладатели жирных MacBook’ов уже могут держать фронтир DeepSeek V4 Flash локально и закрывать им ежедневные LLM-задачи без похода во внешний API. Везунчики. Остальные — продолжаем почесывать свои маленькие VRAM и делать вид, что нам нормально😎.
C/Objective-C/Metal, свои GGUF, CLI, локальный сервер с OpenAI/Anthropic-compatible API, tool calls, streaming.
Двухбитный квант влазит в Маки со 128 ГБ памяти. q4 требует 256+ GB.
На MacBook Pro M3 Max 128 GB заявлено около 26.7 ток/с на коротком prompt и 21.5 ток/с после 11.7k токенов контекста. Движок не держит модель онлайн, загружает и выгружает её между запросами почти мгновенно, используя memory mapping.
Мой товарищ поднял это на MacBook M5 Max 128 GB и великодушно записал для нас демку. У меня челюсть, честно, немного отвисла при просмотре.
Для агентов там тоже есть мясо: ds4-server умеет /v1/chat/completions, /v1/messages, SSE streaming, tool calls и оффлод KV cache на диск. Клиенты любят присылать один и тот же огромный prefix заново, а движок умеет сохранять KV на диск и переиспользовать его между запросами. В README прямо советуют на 128 GB держать контекст где-то в районе 100–300k, потому что полный 1M контекст сам по себе отъедает десятки гигабайт.
Ограничения: Metal-only, один live graph/session, параллельные запросы ждут очередь, стандартный GGUF не подсунешь, CPU path лучше не трогать — автор пугает крашем macOS kernel и сухо резюмирует: software sucks.
Счастливые обладатели жирных MacBook’ов уже могут держать фронтир DeepSeek V4 Flash локально и закрывать им ежедневные LLM-задачи без похода во внешний API. Везунчики. Остальные — продолжаем почесывать свои маленькие VRAM и делать вид, что нам нормально😎.