Recirculation
Рециркуляция
https://www.alphaxiv.org/abs/2608.17981
———
Простой способ снизить перплексию и повысить точность рассуждения на инференсе, не требующий обучения.
Скрытое состояние глубокого слоя из предыдущего шага добавляется к скрытому состоянию раннего слоя текущего шага.
Механизм особенно полезен для токенов, которые часто несут высокую семантическую неоднозначность.
Рециркуляция
https://www.alphaxiv.org/abs/2608.17981
———
Простой способ снизить перплексию и повысить точность рассуждения на инференсе, не требующий обучения.
Скрытое состояние глубокого слоя из предыдущего шага добавляется к скрытому состоянию раннего слоя текущего шага.
Механизм особенно полезен для токенов, которые часто несут высокую семантическую неоднозначность.