Gentel Hint
Репост из: Data Portal | DS & ML
Офигеть, теперь даже игровой ПК может запускать передовые модели с интерактивной скоростью, используя официальные веса без экстремального квантования.
Исследователи из UC Berkeley, MIT и UT Austin открыли исходный код FreeToken — системы, специально созданной для запуска сверхбольших MoE-моделей на обычных компьютерах.
В статье они показывают очень впечатляющие результаты:
Qwen3.6 35B → ноутбук с RTX 4060 8 ГБ → 39 токенов/с
DeepSeek-V4-Flash 284B → RTX 5090 → 22–25 токенов/с
GLM-5.2 753B → RTX PRO 6000 → 15 токенов/с
По сравнению с Ollama скорость генерации выше в 3–4 раза, а обработка входного контекста — в 6–30 раз быстрее.
То есть игровой ноутбук всего с 8 ГБ видеопамяти уже может запускать модель на 35 млрд параметров почти на 40 токенах в секунду.
И это даже быстрее медианной скорости генерации Codex в 33 токена/с, которую авторы приводят в статье.
Главная идея FreeToken в том, чтобы заставить GPU, CPU, оперативную память и PCIe работать вместе.
Поскольку MoE-модели для каждого токена активируют только небольшую часть экспертов, нет необходимости постоянно держать сотни миллиардов параметров в видеопамяти.
FreeToken сам решает, какие части модели оставить в VRAM, какие временно переносить из оперативной памяти на GPU, а какие вообще считать на CPU.
На этапе обработки входного контекста система заранее загружает экспертов следующего слоя. Во время генерации она динамически распределяет вычисления в зависимости от текущей скорости CPU, GPU и PCIe.
Есть даже отдельный Agent State Cache.
Когда агент вызывает инструменты, меняет контекст или продолжает старую задачу, FreeToken может пропускать большую часть повторной обработки контекста.
FreeToken поставляется с полноценным графическим интерфейсом.
Не нужно конвертировать модели в GGUF или собирать проект из исходного кода.
Также в FreeToken Desktop уже встроены агентные обвязки - выбираете модель, выбираете приложение и запускаете.
https://arxiv.org/abs/2608.16157
Исследователи из UC Berkeley, MIT и UT Austin открыли исходный код FreeToken — системы, специально созданной для запуска сверхбольших MoE-моделей на обычных компьютерах.
В статье они показывают очень впечатляющие результаты:
Qwen3.6 35B → ноутбук с RTX 4060 8 ГБ → 39 токенов/с
DeepSeek-V4-Flash 284B → RTX 5090 → 22–25 токенов/с
GLM-5.2 753B → RTX PRO 6000 → 15 токенов/с
По сравнению с Ollama скорость генерации выше в 3–4 раза, а обработка входного контекста — в 6–30 раз быстрее.
То есть игровой ноутбук всего с 8 ГБ видеопамяти уже может запускать модель на 35 млрд параметров почти на 40 токенах в секунду.
И это даже быстрее медианной скорости генерации Codex в 33 токена/с, которую авторы приводят в статье.
Главная идея FreeToken в том, чтобы заставить GPU, CPU, оперативную память и PCIe работать вместе.
Поскольку MoE-модели для каждого токена активируют только небольшую часть экспертов, нет необходимости постоянно держать сотни миллиардов параметров в видеопамяти.
FreeToken сам решает, какие части модели оставить в VRAM, какие временно переносить из оперативной памяти на GPU, а какие вообще считать на CPU.
На этапе обработки входного контекста система заранее загружает экспертов следующего слоя. Во время генерации она динамически распределяет вычисления в зависимости от текущей скорости CPU, GPU и PCIe.
Есть даже отдельный Agent State Cache.
Когда агент вызывает инструменты, меняет контекст или продолжает старую задачу, FreeToken может пропускать большую часть повторной обработки контекста.
FreeToken поставляется с полноценным графическим интерфейсом.
Не нужно конвертировать модели в GGUF или собирать проект из исходного кода.
Также в FreeToken Desktop уже встроены агентные обвязки - выбираете модель, выбираете приложение и запускаете.
https://arxiv.org/abs/2608.16157