⚡️AI21 выпустили 1-ую полноценную реализацию Mamba! Jamba — это гибрид SSM-Transformer MoE, конкурирующий с LLM на базе открытых LLM transformer 🚀

Про AI21 подробно можно узнать тут.

🧠 52B параметра, из которых 12B активны во время генерации
👨‍🏫 16 экспертов, 2 из которых активны в разработке
🆕 Новая архитектура с Joint Attention и Mamba
⚡️ Поддерживает длину контекста 256 КБ.
💻 Вмещает до 140 тыс. контекстов на одном A100 80 ГБ.
🚀 Пропускная способность в 3 раза выше на длинных контекстах по сравнению с Mixtral 8x7B
🔓 Выпущено под Apache 2.0.

Все ссылки тут https://t.me/alwebbci/2066
_______
Источник | #blockchainRF
@F_S_C_P
-------
поддержи канал
-------