Яндекс выложил в открытый доступ Alice AI Foundation LLM — новую языковую модель на 80 млрд параметров
Яндекс открыл доступ к Alice AI Foundation LLM — претрейн-версии большой языковой модели, обученной с нуля. Модель доступна для исследовательских и коммерческих проектов по лицензии Apache 2.0.
В основе — архитектура MoE (смесь экспертов) с 80 млрд параметров суммарно. При генерации ответа активируются только около 3 млрд из них, что существенно снижает требования к железу.
По заявлению разработчиков, модель хорошо справляется с программированием, логическими и математическими задачами, работой с фактическими знаниями и агентными сценариями. Кроме того, она служит экспериментальной базой для архитектурных решений будущей единой рассуждающей модели Яндекса. Модель, технический отчёт и бенчмарки опубликованы на Hugging Face и Хабре.
По материалам канала @divannyi_it
#Яндекс #AliceAIFoundationLLM #LanguageModel #NeuralNetworks
Яндекс открыл доступ к Alice AI Foundation LLM — претрейн-версии большой языковой модели, обученной с нуля. Модель доступна для исследовательских и коммерческих проектов по лицензии Apache 2.0.
В основе — архитектура MoE (смесь экспертов) с 80 млрд параметров суммарно. При генерации ответа активируются только около 3 млрд из них, что существенно снижает требования к железу.
По заявлению разработчиков, модель хорошо справляется с программированием, логическими и математическими задачами, работой с фактическими знаниями и агентными сценариями. Кроме того, она служит экспериментальной базой для архитектурных решений будущей единой рассуждающей модели Яндекса. Модель, технический отчёт и бенчмарки опубликованы на Hugging Face и Хабре.
По материалам канала @divannyi_it
#Яндекс #AliceAIFoundationLLM #LanguageModel #NeuralNetworks