Яндекс открыл веса Alice AI Foundation LLM
Alice AI Foundation LLM представляет собой собственный MoE-претрейн Яндекса. Весь цикл обучения провели с нуля, без стартовых весов сторонних открытых моделей.
В модели 80B параметров, из которых на каждый токен активируются 3B. Это меньше, чем у большинства других открытых претрейнов, но по бенчам результаты в паритете, а иногда и лучше. При обучении отдельно оптимизировали обмен данными между видеокартами и отбор материалов, чтобы сократить вычисления при сохранении качества. В техрепорте есть комплиментарный замер с Nemotron и Qwen – с кодом и с математикой. Плюс к этому заявляют, что заложили базу для рассуждений ещё на претрейне.
Модель выпустили под Apache 2.0, её можно свободно использовать и дообучать. За пару дней у модели уже больше 2000 скачиваний на HF.
Техрепорт
Веса на HF
@ai_newz
Alice AI Foundation LLM представляет собой собственный MoE-претрейн Яндекса. Весь цикл обучения провели с нуля, без стартовых весов сторонних открытых моделей.
В модели 80B параметров, из которых на каждый токен активируются 3B. Это меньше, чем у большинства других открытых претрейнов, но по бенчам результаты в паритете, а иногда и лучше. При обучении отдельно оптимизировали обмен данными между видеокартами и отбор материалов, чтобы сократить вычисления при сохранении качества. В техрепорте есть комплиментарный замер с Nemotron и Qwen – с кодом и с математикой. Плюс к этому заявляют, что заложили базу для рассуждений ещё на претрейне.
Модель выпустили под Apache 2.0, её можно свободно использовать и дообучать. За пару дней у модели уже больше 2000 скачиваний на HF.
Техрепорт
Веса на HF
@ai_newz