🚀 Strata v0.1.40 - ещё быстрее, стабильнее и заметно прокачана multi-GPU
Автор уже два дня не публиковал обновления, мы все запаниковали, не случилось ли чего, но сегодня вышла новая версия Strata, которая добавляет много фиксов.
Что главное:
• Decode на NVIDIA стал ещё примерно на +2–3% быстрее относительно v0.1.39
• На длинном контексте есть дополнительные ускорения
• Сильно улучшили multi-GPU и batching
• Добавили Q4_0 / Q4_1 experts и новые форматы PLE
• Появился новый KV-режим: --kv k8v4
• Экспериментальная поддержка Strix Halo / Ryzen AI Max
• Исправили NaN, зависания, OOM и несколько проблем с verify/batch
• Stop во время обработки prompt теперь быстрее доходит до engine
• Улучшили tool_choice, stop sequences и JSON mode
• Windows больше не должен снижать производительность Strata при свёрнутом окне
• Linux cold start ускорили очень сильно - на RTX 5090 в одном тесте примерно с 920 до 70 секунд
Multi-GPU получил особенно много изменений: в отдельных пользовательских тестах helper GPU дал 40 → 66 т/с, а prompt на 4 GPU - 470 → 1930 т/с.
Для обычной одной RTX 30/40/50 главное здесь - небольшой прирост decode, улучшения long-context и большая пачка фиксов стабильности.
Обновление:
UPDATE.bat
Linux:
./update.sh
Линк на обнову: https://github.com/Niko1221/Strata/releases/tag/v0.1.40
MrGips • Про LLM / НАШ ЧАТ
Автор уже два дня не публиковал обновления, мы все запаниковали, не случилось ли чего, но сегодня вышла новая версия Strata, которая добавляет много фиксов.
Что главное:
• Decode на NVIDIA стал ещё примерно на +2–3% быстрее относительно v0.1.39
• На длинном контексте есть дополнительные ускорения
• Сильно улучшили multi-GPU и batching
• Добавили Q4_0 / Q4_1 experts и новые форматы PLE
• Появился новый KV-режим: --kv k8v4
• Экспериментальная поддержка Strix Halo / Ryzen AI Max
• Исправили NaN, зависания, OOM и несколько проблем с verify/batch
• Stop во время обработки prompt теперь быстрее доходит до engine
• Улучшили tool_choice, stop sequences и JSON mode
• Windows больше не должен снижать производительность Strata при свёрнутом окне
• Linux cold start ускорили очень сильно - на RTX 5090 в одном тесте примерно с 920 до 70 секунд
Multi-GPU получил особенно много изменений: в отдельных пользовательских тестах helper GPU дал 40 → 66 т/с, а prompt на 4 GPU - 470 → 1930 т/с.
Для обычной одной RTX 30/40/50 главное здесь - небольшой прирост decode, улучшения long-context и большая пачка фиксов стабильности.
Обновление:
UPDATE.bat
Linux:
./update.sh
Линк на обнову: https://github.com/Niko1221/Strata/releases/tag/v0.1.40
MrGips • Про LLM / НАШ ЧАТ