И ещё один опенсорс-релиз от Яндекса - Alice AI Foundation 80B LLM.
AliceAI-Foundation-80B-A3B-Base – базовая языковая модель с гибридной архитектурой и MoE-слоями. Модель содержит 80 млрд параметров, из которых для каждого токена активируются 3 млрд, и поддерживает контекст длиной до 262 144 токенов. Модель была обучена полностью с нуля.
При создании модели мы заново собрали обучающий корпус, выбрали архитектуру и гиперпараметры, а также подготовили данные для сложных рассуждений и взаимодействия с инструментами.
Пост авторов: https://t.me/MLunderhood/427
HF: https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base
Техрепорт: https://habr.com/ru/companies/yandex/articles/1083300/
Лицензия - Апач 2.0.
AliceAI-Foundation-80B-A3B-Base – базовая языковая модель с гибридной архитектурой и MoE-слоями. Модель содержит 80 млрд параметров, из которых для каждого токена активируются 3 млрд, и поддерживает контекст длиной до 262 144 токенов. Модель была обучена полностью с нуля.
При создании модели мы заново собрали обучающий корпус, выбрали архитектуру и гиперпараметры, а также подготовили данные для сложных рассуждений и взаимодействия с инструментами.
Пост авторов: https://t.me/MLunderhood/427
HF: https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base
Техрепорт: https://habr.com/ru/companies/yandex/articles/1083300/
Лицензия - Апач 2.0.