![](data:image/svg+xml;charset=utf-8,<svg width="640" height="640" style="background-color:%2344badc;font-family:Nunito,sans-serif" viewBox="0 0 100 100" preserveAspectRatio="xMidYMid meet" xmlns="http://www.w3.org/2000/svg">
<text font-size="30" x="50%" y="50%" dy="5" fill="white" dominant-baseline="middle" text-anchor="middle">L</text>
</svg>)
Репост из: MrGips • Про LLM
Видео недоступно для предпросмотра
Смотреть в Telegram
Безумная сборка для 5090 - скорость доходила до 175 т/с
Наконец-то я чуть пощупал вот это чудо:
https://huggingface.co/neroued/Qwen3.8-27B-nvfp4-NInfer
А все началось с этого поста на Reddit, после которого я загорелся проверить действительно ли такие цифры можно выдавить или снова кликбэйт.
И каково мое было удивление, мало того что скорость генерации отправляет в космос, так еще и префилл достигает безумных 7 660 ток/с
Но я слишком мало потестил, буквально на пару промтах, в прикрепленном видео 'https://t.me/LLM4at/26551/45171' rel='nofollow'>это один из них.
Остальные тесты в НАШЕМ ЧАТЕ
Держу в курсе и продолжаю наблюдение. Всем быстрых токенов!
Наконец-то я чуть пощупал вот это чудо:
https://huggingface.co/neroued/Qwen3.8-27B-nvfp4-NInfer
А все началось с этого поста на Reddit, после которого я загорелся проверить действительно ли такие цифры можно выдавить или снова кликбэйт.
И каково мое было удивление, мало того что скорость генерации отправляет в космос, так еще и префилл достигает безумных 7 660 ток/с
Но я слишком мало потестил, буквально на пару промтах, в прикрепленном видео 'https://t.me/LLM4at/26551/45171' rel='nofollow'>это один из них.
Остальные тесты в НАШЕМ ЧАТЕ
Держу в курсе и продолжаю наблюдение. Всем быстрых токенов!