NITP: Next Implicit Token Prediction for LLM Pre-training
NITP: Предсказание следующего имплицитного токена для предобучения LLM
https://www.alphaxiv.org/overview/2605.24956
https://github.com/aHapBean/NITP
Представлена новая цель предварительного обучения – Next Implicit Token Prediction (NITP), которая дополняет стандартное предсказание следующего токена непрерывным контролем в латентном пространстве. Используя представления будущих токенов из неглубоких слоев в качестве внутренних семантических якорей, NITP эффективно предотвращает деградацию представлений и обеспечивает среднее повышение производительности до 2,7 балла на сравнительных тестах для моделей Mixture-of-Experts размером 9B.
———
Основное нововведение NITP заключается в использовании внутренних состояний самой модели в качестве обучающих целей. Из скрытого представления раннего слоя предсказывается скрытое представление следующего токена для последнего слоя.
NITP: Предсказание следующего имплицитного токена для предобучения LLM
https://www.alphaxiv.org/overview/2605.24956
https://github.com/aHapBean/NITP
Представлена новая цель предварительного обучения – Next Implicit Token Prediction (NITP), которая дополняет стандартное предсказание следующего токена непрерывным контролем в латентном пространстве. Используя представления будущих токенов из неглубоких слоев в качестве внутренних семантических якорей, NITP эффективно предотвращает деградацию представлений и обеспечивает среднее повышение производительности до 2,7 балла на сравнительных тестах для моделей Mixture-of-Experts размером 9B.
———
Основное нововведение NITP заключается в использовании внутренних состояний самой модели в качестве обучающих целей. Из скрытого представления раннего слоя предсказывается скрытое представление следующего токена для последнего слоя.