Nikita Sushko
эйай ньюз dan repost
🔥Qwen 3.5 Medium - GOAT опенсорсных LLM
В линейке 3.5 cильно качнули метрики по сравнению с 3.0
По скорости тоже бустанули за счет архитектуры:
Qwen3.5-397B-A17B в 3.5x (7.2x) быстрее чем Qwen3-235B-A22B на декодинге с с контекстом в 32k (256k) токенов.
Qwen3.5-35B-A3B теперь превосходит Qwen3-235B-A22B-2507 и Qwen3-VL-235B-A22B, что ещё раз подтверждает, что лучшего качества можно достичь не только за счет большего числа параметров, но и благодаря более удачной архитектуре, качеству данных и RL.
> Веса на HF
> Блогпост
@ai_newz
В линейке 3.5 cильно качнули метрики по сравнению с 3.0
hybrid architecture that fuses linear attention (via Gated Delta Networks) with a sparse mixture-of-experts
По скорости тоже бустанули за счет архитектуры:
Qwen3.5-397B-A17B в 3.5x (7.2x) быстрее чем Qwen3-235B-A22B на декодинге с с контекстом в 32k (256k) токенов.
Qwen3.5-35B-A3B теперь превосходит Qwen3-235B-A22B-2507 и Qwen3-VL-235B-A22B, что ещё раз подтверждает, что лучшего качества можно достичь не только за счет большего числа параметров, но и благодаря более удачной архитектуре, качеству данных и RL.
> Веса на HF
> Блогпост
@ai_newz