Mistral Small 4: грустный релиз.
Давно не слышали ничего про французский ИИ и модель Мистраль.
Французы выкатили новую модель — Small 4 (119B параметров, 256k контекста, мультимодальная). Но на бенчмарках всё печально: она сливает сентябрьскому Qwen, у которого параметров в полтора раза меньше, а активных — вообще в два.
Да, архитектура та же, что у DeepSeek V3, есть фишки вроде головы для спекулятивного декодинга. Но гонку эффективности Mistral пока проигрывает. Китайцы делают больше с меньшими ресурсами, а французы, похоже, застряли в гонке «просто добавь параметров».
Если хочется услышать французского шарма, то веса для локальной установки можно взять здесь (Apache 2.0) или поиграться в веб Le Chat.
https://t.me/semasci
Давно не слышали ничего про французский ИИ и модель Мистраль.
Французы выкатили новую модель — Small 4 (119B параметров, 256k контекста, мультимодальная). Но на бенчмарках всё печально: она сливает сентябрьскому Qwen, у которого параметров в полтора раза меньше, а активных — вообще в два.
Да, архитектура та же, что у DeepSeek V3, есть фишки вроде головы для спекулятивного декодинга. Но гонку эффективности Mistral пока проигрывает. Китайцы делают больше с меньшими ресурсами, а французы, похоже, застряли в гонке «просто добавь параметров».
Если хочется услышать французского шарма, то веса для локальной установки можно взять здесь (Apache 2.0) или поиграться в веб Le Chat.
https://t.me/semasci