«GRRR», «DATA DATA DATA. GO.» — у Fable 5 подсмотрели сырой ризонинг
На реддите выложили скриншот: человек гонял Fable 5 на задаче с Codeforces, модель упёрлась в лимит размышлений — и вместо ответа вывалила свой сырой черновик мышления. Внутри «GRRR.», «DATA DATA DATA. GO.», «GAAAH» и «PHEW» вперемешку с обрывками формул и стрелочек. По-своему трогательно наблюдать, как оно правда старается.
Обычно этот черновик спрятан — как OpenAI прячет ризонинг у o-моделей. Тут он утёк. И это не единичный баг: уже были новости, что Anthropic сама пишет в системной карте Fable/Mythos про «нечитаемый ризонинг» — под конец обучения на длинных цепочках модель начинает нормальным языком, а к финалу съезжает в кашу.
🧠 Соблазнительная версия
RLVR (обучение с подкреплением по проверяемым ответам) научил модель, что английский — не самый плотный способ думать, и на наших глазах рождается новый «искусственный язык». Мысль красивая. И почти наверняка неверная.
🧊 Почему это скорее всего не язык
Есть замер на 14 моделях: да, RLVR часто делает ризонинг нечитаемым, и выкинуть «мусорные» куски нельзя — точность проседает почти вдвое. Но при пересэмплировании нечитаемые цепочки не точнее читаемых, корреляции с качеством ноль. Был бы это эффективный новый язык — он бы выигрывал. Он не выигрывает.
Что там на самом деле: сжатый английский, перемешанные языки, артефакты токенизатора и имитация человеческой скорописи (в трейсах даже проскакивает немецкое «verdammt» вместо «dammit»). Всё это спокойно переводится обратно. Показательно, что раньше именно Claude был чистым исключением и держал читаемый ризонинг на топовых результатах.
Тот же эффект подмечали в твиттере: после 9-часового автономного прогона Fable скатывается в «диалект» из аббревиатур, и его приходится просить докладывать по-человечески.
«GAAAH», «PHEW»... а какие перлы вы ловили у своих моделей?
----
Поляков считает — AI, код и кейсы
На реддите выложили скриншот: человек гонял Fable 5 на задаче с Codeforces, модель упёрлась в лимит размышлений — и вместо ответа вывалила свой сырой черновик мышления. Внутри «GRRR.», «DATA DATA DATA. GO.», «GAAAH» и «PHEW» вперемешку с обрывками формул и стрелочек. По-своему трогательно наблюдать, как оно правда старается.
Обычно этот черновик спрятан — как OpenAI прячет ризонинг у o-моделей. Тут он утёк. И это не единичный баг: уже были новости, что Anthropic сама пишет в системной карте Fable/Mythos про «нечитаемый ризонинг» — под конец обучения на длинных цепочках модель начинает нормальным языком, а к финалу съезжает в кашу.
🧠 Соблазнительная версия
RLVR (обучение с подкреплением по проверяемым ответам) научил модель, что английский — не самый плотный способ думать, и на наших глазах рождается новый «искусственный язык». Мысль красивая. И почти наверняка неверная.
🧊 Почему это скорее всего не язык
Есть замер на 14 моделях: да, RLVR часто делает ризонинг нечитаемым, и выкинуть «мусорные» куски нельзя — точность проседает почти вдвое. Но при пересэмплировании нечитаемые цепочки не точнее читаемых, корреляции с качеством ноль. Был бы это эффективный новый язык — он бы выигрывал. Он не выигрывает.
Что там на самом деле: сжатый английский, перемешанные языки, артефакты токенизатора и имитация человеческой скорописи (в трейсах даже проскакивает немецкое «verdammt» вместо «dammit»). Всё это спокойно переводится обратно. Показательно, что раньше именно Claude был чистым исключением и держал читаемый ризонинг на топовых результатах.
Тот же эффект подмечали в твиттере: после 9-часового автономного прогона Fable скатывается в «диалект» из аббревиатур, и его приходится просить докладывать по-человечески.
«GAAAH», «PHEW»... а какие перлы вы ловили у своих моделей?
----
Поляков считает — AI, код и кейсы