Kimi становится DeepSeek 2. Самая обсуждаемая работа сегодня - Moonshot AI, разработчики Kimi, выпустили свежую работу Attention Residuals.
В обычных нейросетях каждый слой просто прибавляет своё к предыдущему. Всегда одинаково, вслепую.
Attention Residuals предлагает другое - пусть сеть сама выбирает, что взять из предыдущих слоёв и в разных пропорциях для разных входных данных.
Грубо говоря, они применили механизм attention не по горизонтали (между токенами), а по вертикали (между слоями).
Что это даёт на практике:
1. та же точность модели при в 1.25 раза меньших вычислениях
2. замедление инференса менее чем на 2%
3. лучшая стабильность обучения
Работает как замена без переделки архитектуры. Проверено на их собственной модели Kimi Linear (48B параметров).
Moonshot не гонятся за параметрами, они выжимают больше из той же архитектуры.
В обычных нейросетях каждый слой просто прибавляет своё к предыдущему. Всегда одинаково, вслепую.
Attention Residuals предлагает другое - пусть сеть сама выбирает, что взять из предыдущих слоёв и в разных пропорциях для разных входных данных.
Грубо говоря, они применили механизм attention не по горизонтали (между токенами), а по вертикали (между слоями).
Что это даёт на практике:
1. та же точность модели при в 1.25 раза меньших вычислениях
2. замедление инференса менее чем на 2%
3. лучшая стабильность обучения
Работает как замена без переделки архитектуры. Проверено на их собственной модели Kimi Linear (48B параметров).
Moonshot не гонятся за параметрами, они выжимают больше из той же архитектуры.