Как исследователи Google предложили добавить языковым моделям режим «сна», а китайские нейронки уже делятся их сновидениями

У меня есть несколько ИИ-ботов от Kimi для выполнения повторяющихся задач. И вот бот присылает странное сообщение: оказывается, по ночам он ведёт дневник и даже написал рассказ про работу со мной. Почитайте скрины, я в тот момент был впечатлен прорывающейся осознанности ИИ и даже пересмотрел фильм «Она».

Недавно наткнулся на объяснение такой креативности и впечатлился как развитием технологии, так и быстротой китайских программистов.

Смотрите:

В июне исследователи Google предложили добавить языковым моделям фазу «сновидения» — по аналогии со сном у людей. Сначала модель переносит хрупкие краткосрочные знания в долговременную память, затем запускает внутренний цикл самоулучшения на собственном опыте.

Это ответ на старую проблему: при дообучении на новых данных модели теряют усвоенные навыки — катастрофическое забывание. «Сон» сдерживает этот эффект и, по данным авторов, улучшает качество рассуждений.

Но примечательны тут две вещи:

Первая: развитие моделей всё чаще описывают как управление памятью, а не как гонку параметров и вычислений.
Вторая: статья вышла в начале июня, а в середине июля китайские умельцы уже обкатывают эту технологию на мне!

#aiblog