🌸 Куда катятся LLM в 2026 году
Себастьян Рашка выпустил свой традиционный «весенний» обзор открытых моделей, и, кажется, индустрия окончательно переросла старый добрый Трансформер. Если вы думали, что в архитектурах нейросетей всё замерло — вы сильно ошибались.
Вот главные тезисы:
🌟 Прощай, классический Attention: Внедрение Sliding Window Attention (SWA) позволило моделям «переваривать» гигантские контексты без потери памяти.
🌟 Gated Attention: На выходе внимания теперь стоят сигмоидные «гейты» (как в Qwen3-Next). Это позволяет модели динамически решать, какие данные важны, а какие — шум.
🌟 Inference-time scaling: Главный хайп сезона. Модели учат «думать» дольше во время генерации (reasoning), что дает прирост качества без раздувания количества параметров.
🌟 Tiny is the new Big: Компактные модели вроде Tiny Aya (3.35B) показывают, что мультиязычность и интеллект теперь можно упаковать в смартфон.
🔗 Весь разбор здесь
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
Себастьян Рашка выпустил свой традиционный «весенний» обзор открытых моделей, и, кажется, индустрия окончательно переросла старый добрый Трансформер. Если вы думали, что в архитектурах нейросетей всё замерло — вы сильно ошибались.
Вот главные тезисы:
🌟 Прощай, классический Attention: Внедрение Sliding Window Attention (SWA) позволило моделям «переваривать» гигантские контексты без потери памяти.
🌟 Gated Attention: На выходе внимания теперь стоят сигмоидные «гейты» (как в Qwen3-Next). Это позволяет модели динамически решать, какие данные важны, а какие — шум.
🌟 Inference-time scaling: Главный хайп сезона. Модели учат «думать» дольше во время генерации (reasoning), что дает прирост качества без раздувания количества параметров.
🌟 Tiny is the new Big: Компактные модели вроде Tiny Aya (3.35B) показывают, что мультиязычность и интеллект теперь можно упаковать в смартфон.
🔗 Весь разбор здесь
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста