Loop the Loopies!
Крути петли!
https://www.alphaxiv.org/overview/2607.16051
Новая методология масштабирования, "Рецепт Лупи" (Loopie Recipe), позволяет рекуррентным крупным языковым моделям "Смесь Экспертов" (MoE) достигать конкурентоспособной или превосходной производительности при идентичных бюджетах вычислительных ресурсов для предварительного обучения. Этот подход привел к тому, что модели Loopie продемонстрировали "золотой" уровень производительности при решении задач Международной математической олимпиады (IMO) и Международной физической олимпиады (IPhO) 2025 года без использования внешних инструментов.
———
Вместо зацикливания блока слоёв (model-loop, L₁ → L₂ → L₁ → L₂) в зацикленном трансформере поочерёдно зациклили слои (layer-loop, L₁ → L₁ → L₂ → L₂).
* Неудивительно что сработало, ведь слои attention и MLP – это шаги оптимизации энергетических функций. Зацикливание слоя – применение нескольких шагов градиентного спуска минимизации этих функций, что уточняет результат.
Крути петли!
https://www.alphaxiv.org/overview/2607.16051
Новая методология масштабирования, "Рецепт Лупи" (Loopie Recipe), позволяет рекуррентным крупным языковым моделям "Смесь Экспертов" (MoE) достигать конкурентоспособной или превосходной производительности при идентичных бюджетах вычислительных ресурсов для предварительного обучения. Этот подход привел к тому, что модели Loopie продемонстрировали "золотой" уровень производительности при решении задач Международной математической олимпиады (IMO) и Международной физической олимпиады (IPhO) 2025 года без использования внешних инструментов.
———
Вместо зацикливания блока слоёв (model-loop, L₁ → L₂ → L₁ → L₂) в зацикленном трансформере поочерёдно зациклили слои (layer-loop, L₁ → L₁ → L₂ → L₂).
* Неудивительно что сработало, ведь слои attention и MLP – это шаги оптимизации энергетических функций. Зацикливание слоя – применение нескольких шагов градиентного спуска минимизации этих функций, что уточняет результат.