FreeToken: MoE-модель на 753B параметров запустили на одной домашней видеокартеЗапуск моделей локально не устаёт удивлять. Казалось бы, что уже всё возможное выжато и ну никак не получится на локальной машине получить качество облачных датацентов.
Но нет, - вот вам еще один подарок от учёных из Беркли.
⚡️ Команда из Berkeley и UT Austin выкатила
FreeToken: движок инференса, который превращает обычный ПК в платформу для MoE-гигантов.
35B модель крутится на ноутбуке с 8 ГБ видеопамяти,
284B DeepSeek-V4-Flash приемлемо крутится на игровом ПК с RTX 5090,
а 753B GLM-5.2 запускается на одной RTX PRO 6000.
🔧 Главная фишка в оптимизации использования всех ресурсов компьютера совокупно, а не заточка под GPU или NPU:- Все веса MoE-экспертов лежат в обычной RAM.
- В VRAM хранится только кэш наиболее нужных сейчас экспертов.
- Если нужный эксперт уже в VRAM — его считает GPU.
- Если эксперта нет — FreeToken решает: загрузить его через PCIe в VRAM или посчитать прямо на CPU.
- CPU и GPU считают разные эксперты одного MoE-слоя одновременно, потом их результаты складываются.
- Долю «грузить на GPU / считать на CPU» движок выбирает по реальной пропускной способности RAM и PCIe конкретного компьютера.
- Во время prefill следующий целый слой экспертов копируется RAM → VRAM, пока GPU считает текущий слой.
- Для этого используются два буфера: один считается, второй в это время заполняется.
- При decode эксперты вытесняются из VRAM по LRU: недавно использованные остаются, давно не нужные заменяются.
- Поэтому модель целиком в VRAM
никогда не помещается и не должна помещаться — VRAM работает как быстрый кэш над RAM.
📊 На практике декод идёт в 1,5-2,3 раза быстрее, чем у llama.cpp и KTransformers.Первый токен приходит быстрее чем за 44 секунды даже в длинных агентных сессиях, где конкуренты переваливают за 150 и ловят таймауты.
Код открыт под Apache 2.0, есть десктоп-приложение под Windows и Linux, репозиторий уже собрал 1,6 тысячи звёзд.
Выглядит как цыганская магия :)
Ну т.е. открытые веса теперь стали значительно доступнее и фронтир-модель -таки может жить у тебя дома. 💪
📎 GitHub проекта:
FreeTokenpaper#MoE #FreeToken #Berkley
———
@tsingular