Репост из: Пиксель
Используем гигантские модели на ЛЮБОМ железе — отрыли сервис FreeToken.
Что делает тулза:
Причем все это бесплатно и лежит тут.
Пиксель
Что делает тулза:
— До максимума оптимизирует вычисления, распределяя их между GPU, CPU и RAM;
— Так, Qwen3.6 35B пойдет на ноуте с RTX 4060 8 GB и будет выдавать 39 т/с;
— Или, например, DeepSeek-V4-Flash 284B полетит на RTX 5090 и выдаст до 25 т/с.
Причем все это бесплатно и лежит тут.
Пиксель