Ваш игровой ПК теперь может тянуть передовые модели локально — и даже без дикого квантования
Исследователи представили и открыли исходный код FreeToken — это система для запуска больших MoE-моделей на обычном железе. Дело в том, что она сама по-умному распределяет вычисления между GPU, CPU и RAM.
Главное:
🟢 Qwen3.6 35B запускается на ноутбуке с RTX 4060 8GB со скоростью 39 токенов/с;
🟢 А например, DeepSeek-V4-Flash 284B — на RTX 5090, выдавать будет 22–25 токенов/с.
Используем всю мощь здесь
Компы и Точка.
Исследователи представили и открыли исходный код FreeToken — это система для запуска больших MoE-моделей на обычном железе. Дело в том, что она сама по-умному распределяет вычисления между GPU, CPU и RAM.
Главное:
🟢 Qwen3.6 35B запускается на ноутбуке с RTX 4060 8GB со скоростью 39 токенов/с;
🟢 А например, DeepSeek-V4-Flash 284B — на RTX 5090, выдавать будет 22–25 токенов/с.
Используем всю мощь здесь
Компы и Точка.