Mistral Large 4 внутри компании называют Le Chonk, и это не случайное прозвище: модель собрали на 1,05 трлн параметров. Активными при этом остаются 49 млрд, потому что это MoE.

Модель мультимодальная, держит контекст до 1 млн токенов и уже доступна через API в режиме public preview. Название отсылает к мему Le Chaton Fat, где несколько месяцев назад шутили о гигантской модели Mistral.

По собственным тестам Mistral, Large 4 стала новой открытой SOTA для США и Европы. Особенно хорошо она показывает себя в кодинге, кибербезопасности и финансах, а в детекции объектов на изображениях обходит некоторые закрытые фронтирные модели.

Обучение заняло около двух месяцев на 4 000 Nvidia Grace Blackwell. Веса обещают выпустить 27 октября.

https://mistral.ai/news/mistral-large-4

Велкам