Велосипед в Blender + Qwen 3.8 27B NVFP4 + Ninfer + Hermes Agent на RTX 5090
Первое фото - референс
Второе фото - результат
Скорость декода:
• ~130-160 ток/с - обычная скорость
• ~160-175 ток/с - на более удачных запросах
• видел пики около 190-200 ток/с
На контексте 100K+ скорость немного падает и чаще находится в районе 120-135 ток/с.
Prefill около 6-7K ток/с.
На данный момент это идеальная связка, учитывая какой тяжелый хермес и какой быстрый префилл у Ninfer.
Как вам велик?
MrGips • Про LLM / НАШ ЧАТ
Первое фото - референс
Второе фото - результат
Скорость декода:
• ~130-160 ток/с - обычная скорость
• ~160-175 ток/с - на более удачных запросах
• видел пики около 190-200 ток/с
На контексте 100K+ скорость немного падает и чаще находится в районе 120-135 ток/с.
Prefill около 6-7K ток/с.
На данный момент это идеальная связка, учитывая какой тяжелый хермес и какой быстрый префилл у Ninfer.
Как вам велик?
MrGips • Про LLM / НАШ ЧАТ