Релиз дня: MiMo-2.6 от Xiaomi
Внезапно, это, кажется, новая открытая SOTA. Версия Pro, по словам разработчиков, работает на уровне Claude Opus 5 и GPT-5.6 Sol в большинстве агентных бенчмарков (она набрала 46 баллов в Artificial Analysis Intelligence Index).
Архитектурно это MoE, 1.02В параметров и 42В активных, с гибридным вниманием и 5-слойным MTP спекулятивным декодером (это значит, что модель предполагает сразу несколько токенов вперед, а затем проверяет их валидность параллельно: техника дает хороший прирост к скорости).
Контекст до 1 миллиона токенов, нативная мультимодальность.
Отдельное внимание привлекает масштаб RL: 750 000 RL-траекторий по кодингу, зрению и CFT-задачам, полностью асинхронный GRPO, когда модель параллельно пробует 16 разных путей решения для каждой задачи, и 7000+ RL-окружений для агентов, которые тоже выложили в опенсорс.
При этом обучение обошлось всего в три миллиона долларов благодаря тому, что гоняли все на верифицируемых задачах без разметки.
Цена тоже не может не радовать:
- Pro $0,435 / M input, $0,87 / M output
- Flash $0,14 / M input, $0,28. / M output
Веса | Техотчет | Блог
Внезапно, это, кажется, новая открытая SOTA. Версия Pro, по словам разработчиков, работает на уровне Claude Opus 5 и GPT-5.6 Sol в большинстве агентных бенчмарков (она набрала 46 баллов в Artificial Analysis Intelligence Index).
Архитектурно это MoE, 1.02В параметров и 42В активных, с гибридным вниманием и 5-слойным MTP спекулятивным декодером (это значит, что модель предполагает сразу несколько токенов вперед, а затем проверяет их валидность параллельно: техника дает хороший прирост к скорости).
Контекст до 1 миллиона токенов, нативная мультимодальность.
Отдельное внимание привлекает масштаб RL: 750 000 RL-траекторий по кодингу, зрению и CFT-задачам, полностью асинхронный GRPO, когда модель параллельно пробует 16 разных путей решения для каждой задачи, и 7000+ RL-окружений для агентов, которые тоже выложили в опенсорс.
При этом обучение обошлось всего в три миллиона долларов благодаря тому, что гоняли все на верифицируемых задачах без разметки.
Цена тоже не может не радовать:
- Pro $0,435 / M input, $0,87 / M output
- Flash $0,14 / M input, $0,28. / M output
Веса | Техотчет | Блог