🟥 Яндекс выложил в опенсорс Alice AI Foundation LLM — претрейн-версию своей новой большой языковой модели, обученной полностью с нуля. Новая модель — это экспериментальная версия, на которой Яндекс тестирует архитектурные решения для своей будущей единой рассуждающей модели (ЕРМ).
➡️ Главное:
〰️ Alice AI Foundation LLM работает на архитектуре MoE (Mixture of Experts) и включает 80 миллиардов параметров, из которых в моменте активны только 3 миллиарда — для обеспечения скорости и экономичности работы.
〰️ Она обгоняет в том числе более крупные опенсорс-модели, не требуя при этом больших вычислительных мощностей для инференса.
〰️ У модели высокое качество в ризонинге и программировании — необходимый навык для эффективной работы агентов, способных выполнять действия по поручению пользователя.
Например, на олимпиадных задачах по математике она делит лидерство с Qwen3.5-35B-A3B-Base. В тестах на написание кода превосходит модель компании Nvidia Nemotron-3-Super-120B-Base, хотя использует в четыре раза меньше активных параметров.
〰️ Разработчики могут использовать её как в исследовательских, так и в коммерческих проектах благодаря свободной лицензии Apache 2.0.
〰️ Яндекс разработал и выложил в опенсорс два собственных бенчмарка — WikiWebFacts и HardMultiQA — для оценки знаний модели, актуальных для русскоязычных пользователей.
Первый проверяет знание фактов: дат, определений, событий, персоналий. Второй — охватывает более редкие области знаний: от медицины и права до ИТ и искусства. Речь идет о задачах, где недостаточно вспомнить один факт. Модель должна выбрать несколько верных вариантов из списка, перечислить сразу несколько фактов, подходящих под условие вопроса, или найти фактическую ошибку в тексте.
📌 Модель, технические отчеты и бенчмарки — на Hugging Face, а техрепорт — на Хабре.
Подписывайтесь 👉 @yab2btech
➡️ Главное:
〰️ Alice AI Foundation LLM работает на архитектуре MoE (Mixture of Experts) и включает 80 миллиардов параметров, из которых в моменте активны только 3 миллиарда — для обеспечения скорости и экономичности работы.
〰️ Она обгоняет в том числе более крупные опенсорс-модели, не требуя при этом больших вычислительных мощностей для инференса.
〰️ У модели высокое качество в ризонинге и программировании — необходимый навык для эффективной работы агентов, способных выполнять действия по поручению пользователя.
Например, на олимпиадных задачах по математике она делит лидерство с Qwen3.5-35B-A3B-Base. В тестах на написание кода превосходит модель компании Nvidia Nemotron-3-Super-120B-Base, хотя использует в четыре раза меньше активных параметров.
〰️ Разработчики могут использовать её как в исследовательских, так и в коммерческих проектах благодаря свободной лицензии Apache 2.0.
〰️ Яндекс разработал и выложил в опенсорс два собственных бенчмарка — WikiWebFacts и HardMultiQA — для оценки знаний модели, актуальных для русскоязычных пользователей.
Первый проверяет знание фактов: дат, определений, событий, персоналий. Второй — охватывает более редкие области знаний: от медицины и права до ИТ и искусства. Речь идет о задачах, где недостаточно вспомнить один факт. Модель должна выбрать несколько верных вариантов из списка, перечислить сразу несколько фактов, подходящих под условие вопроса, или найти фактическую ошибку в тексте.
📌 Модель, технические отчеты и бенчмарки — на Hugging Face, а техрепорт — на Хабре.
Подписывайтесь 👉 @yab2btech