Google нашли способ, как LLM учить алгоритму обучения, как у людей
Google DeepMind опубликовали две работы(тут и тут), которые говорят о том, как работает обучение языковых моделей.
Больше полезных материалов у нас на Patreon.
Вот в чём проблема:
Такие модели как GPT-5 и Gemini 2.5 Pro плохо адаптируются в процессе диалога. Дай им подсказку, укажи на ошибку, и они просто повторят тот же неверный ответ. Снова. И снова.
Это не баг конкретной модели. Это системное следствие того, как всё обучение построено на статичных текстах. Модель хорошо запоминает, но не умеет учиться в моменте.
Исследователи назвали это отсутствием in-context plasticity - способности менять мышление в ответ на новую информацию прямо внутри разговора.
Решение DeepMind - они превратили обычные задачи (математика, код) в педагогические диалоги, где одна копия модели играет роль учителя, а другая — студента.
Ключевая идея - учителю не нужно быть умнее. Достаточно знать правильный ответ. Асимметрия информации заменяет асимметрию интеллекта.
После такого обучения через RL происходит кое-что неожиданное: Gemini 2.5 Flash догоняет по адаптивности Gemini 2.5 Pro.
А модели, обученные на математике, начинают лучше играть в покер и проходить лабиринты.
Но самое странное — это самосовершенствование. Если обучить модель также предсказывать реплики учителя, она начинает сама себя критиковать и исправлять. Без внешней помощи. И результат превосходит работу с реальным учителем.
Суть - не учить ответам, а учить алгоритму обучения.
Это то, что люди делают с детства и называют социальным интеллектом. У ИИ это только начинается.
Больше полезных материалов у нас на Patreon.
Google DeepMind опубликовали две работы(тут и тут), которые говорят о том, как работает обучение языковых моделей.
Больше полезных материалов у нас на Patreon.
Вот в чём проблема:
Такие модели как GPT-5 и Gemini 2.5 Pro плохо адаптируются в процессе диалога. Дай им подсказку, укажи на ошибку, и они просто повторят тот же неверный ответ. Снова. И снова.
Это не баг конкретной модели. Это системное следствие того, как всё обучение построено на статичных текстах. Модель хорошо запоминает, но не умеет учиться в моменте.
Исследователи назвали это отсутствием in-context plasticity - способности менять мышление в ответ на новую информацию прямо внутри разговора.
Решение DeepMind - они превратили обычные задачи (математика, код) в педагогические диалоги, где одна копия модели играет роль учителя, а другая — студента.
Ключевая идея - учителю не нужно быть умнее. Достаточно знать правильный ответ. Асимметрия информации заменяет асимметрию интеллекта.
После такого обучения через RL происходит кое-что неожиданное: Gemini 2.5 Flash догоняет по адаптивности Gemini 2.5 Pro.
А модели, обученные на математике, начинают лучше играть в покер и проходить лабиринты.
Но самое странное — это самосовершенствование. Если обучить модель также предсказывать реплики учителя, она начинает сама себя критиковать и исправлять. Без внешней помощи. И результат превосходит работу с реальным учителем.
Суть - не учить ответам, а учить алгоритму обучения.
Это то, что люди делают с детства и называют социальным интеллектом. У ИИ это только начинается.
Больше полезных материалов у нас на Patreon.