Sebastian Raschka что-то долго рисует архитектуру нового Qwen3.5-397B-A17B
Решил сделать это сам: сгенерил картинку через Nano-Banana Pro на основе карточки модели (получилось прикольно, кстати, с первого раза)
Что ж, я очень рад, что появились более менее нормальные от Qwen модели для хардкорных агентных систем.
Явно ребята вкачали навык "критика", потому что в agentic-search намного чаще отвергает нерелевантные результаты поиска и намного "дотошнее" лезет вглубь от-но своих прошлых братьев (qwen3-235b / qwen3-480b-coder).
Хотя с русским замечены явные проблемы - в обычном пользовании заметил, что путает окончания. Так что нужно быть аккуратным, если подобная модель будет торчать наружу на пользователей.
Что касательно архитектуры - есть внушительное изменение в виде уменьшения размерности экспертов и соответственно увеличения их кол-ва за счет чего инференс происходит ощутимо быстрее.
Решил сделать это сам: сгенерил картинку через Nano-Banana Pro на основе карточки модели (получилось прикольно, кстати, с первого раза)
Что ж, я очень рад, что появились более менее нормальные от Qwen модели для хардкорных агентных систем.
Явно ребята вкачали навык "критика", потому что в agentic-search намного чаще отвергает нерелевантные результаты поиска и намного "дотошнее" лезет вглубь от-но своих прошлых братьев (qwen3-235b / qwen3-480b-coder).
Хотя с русским замечены явные проблемы - в обычном пользовании заметил, что путает окончания. Так что нужно быть аккуратным, если подобная модель будет торчать наружу на пользователей.
Что касательно архитектуры - есть внушительное изменение в виде уменьшения размерности экспертов и соответственно увеличения их кол-ва за счет чего инференс происходит ощутимо быстрее.