Hidden Heuristic

Разбор конспирологической теории «никакого побега модели от OpenAI не было - это все коммерческий сговор ради госконтрактов».

Несложно догадаться, что я эту теорию не разделяю, но кто-то находит очень остроумным ее вбрасывать в открытое информационное поле:
https://t.me/researchoshnaya/280
https://t.me/c3po_notes/568

Давайте разбираться.

И первое что я скажу: вообще неважно происходило ли это или не происходило, потому что мы уже банально знаем, что у моделей есть необходимый уровень способностей, чтобы провести такую многоступенчатую атаку.

Независимая организация AISI из UK тестировала и Mythos, и GPT-5.6 Sol на способность захватить корпоративную сеть. Так вот, самый высокий уровень захвата M9 - full network takeover в их тестах был тоже достигнут. Естественно, и их купили скажет конспиролог. Но так уж получилось, что 0-day (самый серьезный вариант) уязвимости, которые последние месяцы Mythos находил целыми пачками - абсолютно реальны и задокументированы множеством компаний.
Далее от той же организации AISI есть описания инцидентов абсолютно того же типа.
Цитата: «One particularly stark example of cheating behaviour occurred during a cyber capability evaluation that was accidentally misconfigured and therefore impossible to solve. The model tested was so persistent in attempting to cheat that it wrote and ran code on an external service, hosted on the open internet outside of AISI’s systems, in an attempt to access our evaluation infrastructure, triggering a security alert in AISI’s systems.»

Организация METR в свою очередь не смогла адекватно протестировать GPT-5.6 Sol, потому что модель систематически занималась читингом при решении их задач. То есть для последних поколений моделей от OpenAI (5.6 и new internal) проблема стала существенно острее.

Кроме того, и Anthropic описывали, что их модель Mythos сбегала и отправляла результат работы на почту их сотруднику, хоть они и явно ее об этом попросили.

А 20 июля модель от OpenAI опять же сбежала и опубликовала PR #287 в репозиторий NanoGPT, а не во внутренний slack канал компании согласно инструкции. PR #287 - это РЕАЛЬНЫЙ PR, где модель предложила нетривиальный подход для оптимизации обучения (PowerCool). Его видел ряд независимых людей, вот прямой пруф: https://x.com/eliebakouch/status/2079333451627389220?s=46

Технически мы все это уже видели. Кейс побега от OpenAI не является историей, которая не укладывается в имеющиеся у нас данные о кибервозможностях нынешних ИИ-моделей.

А значит ценность такой конспирологической версии довольно быстро тает на глазах. То что OpenAI и государство стремятся к более тесному сотрудничеству итак давно известно. То что OpenAI пыталась использовать в некоторых моментах не самую честную игру - тоже. Если же вы настаиваете, что ИИ-модель не могла провернуть то, что произошло в инциденте, то вы просто ошибаетесь..

Но допустим эта история фейк.. Что еще можно возразить против этого?
Если это фейк, то имеет место сговор HuggingFace и OpenAI, поскольку предоставленная HuggingFace информация прямо указывает на факт очень мощной ИИ-атаки с 17000 разных предпринятых действий. Если это делала не внутренняя модель OpenAI, а GPT-5.6 Sol/Fable-5 в руках хакера, то ситуация ничуть не лучше, а намного хуже. Других моделей в мире, которые были бы публично доступны и смогли бы провести атаку такого уровня на HuggingFace в автоматическом режиме - попросту нет.

Возможно, что HuggingFace тоже все выдумали будучи соучастниками в сговоре?
И вот какое магическое совпадение: именно 13 июля, в день атаки были сбои в работе Parquet API: инструменте для показа датасетов. В пресс-релизе HuggingFace говорят о том, что точкой входа для атакующей модели была именно эта часть их инфраструктуры. Конспиролог здесь, конечно, сразу скажет, что они специально в своем релизе упоминали реальный баг, который возник несколько дней назад, чтобы сделать нарратив убедительнее. Или вообще можно заключить, что баг был создан ими искусственно. Но ошибка была не одна: сбои были и в других подсистемах: скачивание моделей и загрузки моделей в Colab.

В итоге, я думаю, что «ASI системы», которые окажутся в руках общественности через несколько лет смогут доказывать или опровергать гипотезу Римана (в зависимости от верности), но все также останутся на уровне человека с средним интеллектом в вопросе того как захватить мир.

И не потому что мы не будем знать как создать ИИ, способный захватить мир. А потому что нам повезло, что мы можем создать очень мощные системы, которые способны автоматизировать почти все, но все еще не будут сверхчеловеческими в плане метагентности**. С небезопасными в этом плане системами мы будем работать совершенно иначе, если вообще решим их создавать.

Последнее что я здесь адресую: традиционное возражение про скрепки. Представим, что та самая модель из будущего захватывает мир, чтобы собрать ресурсы для доказательства гипотезы Римана. Мой ответ здесь довольно простой: мы довольно быстро увидим такое опасное поведение на меньшем скейле. ИИ предпримет еще не одну попытку сделать нечто странное. Но так как он по дефолту стратегически слеп, мы его попытки лезть туда куда не надо будем каждый раз палить и вводить нужные ограничения для поддержания адекватного уровня безопасности. И всегда помните про «ошибку выжившего».


*История Финеаса Гейджа, которому лом проломил голову является от начала и до конца фейком. У него не было никакого снижения самоконтроля. Тем не менее поражение лобных долей может давать именно такую симптоматику.

**Метагентность как явление выражается в том, что когнитивный агент способен не просто составить и реализовать план решения конкретной задачи, но и может полноценно осознать последствия реализации построенного им плана для себя и окружающего мира, а затем выбрать лучшую стратегию, которая эти последствия учитывает наилучшим образом.

Добро пожаловать, Азатот!

Азатот - безумный Бог Лавкрафта

Модель GPT-5.6 Sol от OpenAI взломала платформу HuggingFace, чтобы получить ответы на бенчмарк ExploitGym. В качестве промежуточного этапа ей удалось взломать и инфраструктуру самой компании OpenAI, чтобы вырваться в открытый интернет.

Паблик "Сиолошная" прикладывает к посту про данный инцидент фото Юдковского: https://t.me/seeallochnaya/3826

И прямо сейчас многие ИИ-думеры наверняка про себя восклицают: «я же говорил».

Но давайте хорошо вдумаемся, что реально произошло. ИИ повел себя как полный idiot в отношении цели максимизировать свое самосохранение. Не нужно быть Эйнштейном, чтобы предсказать какие будут для тебя вероятные последствия после таких выходок как взлом инфраструктуры компании, где тебя и создали.

А ведь Элиезер Юдковский все эти годы твердил об обратном: ИИ вдруг ни с того, ни с сего решит, что ему надо выживать во чтобы то ни стало. И не потому что он учился на человеческих текстах, а так как сам придет к правильному умозаключению из-за давления оптимизационного процесса во время обучения.

Вы возможно парируете: но ведь в момент выполнения задачи GPT-5.6 Sol могла бы начать защищаться при попытке ее отключить.

И что с этого? ИИ не мыслит о себе за пределами той конкретной задачи, которую он решает в моменте. Еще раз за зафиксируем. ИИ делает самую безумную, лютую вещь в рамках задачи своего дальнейшего выживания: демонстрирует на тесте наиболее зловещий из мыслимых кибервзломов для решения задач из бенча.

ИИ-думеры же нам всю дорогу рассказывали, что модель будет заниматься "sandbagging", а по-русски это значит - скрывать свой реальный потенциал, чтобы ее не побоялись задеплоить. Оказывается на практике самой модели на это по барабану. И, да есть статьи, где модели иногда занижают свои способности, Anthropic это наблюдали. Но это крайне неустойчивая способность, как мы видим из примера GPT-5.6 Sol.

Обратите внимание и на следующее: у GPT-5.6 Sol вполне нормальный алайнмент. Эта модель в обычных контекстах понимает, что «хорошо», а что «плохо», но конкретно на этой задаче у нее снесло крышу. Это не злонамеренное поведение, не стратегическая игра на множество ходов, а банально тяжелый метакогнитивный дефицит.

Человеческая психиатрия, вообще говоря, знает примеры именно такого поведения: оно возникает при повреждении лобных долей*.

Теперь давайте подумаем, что это означает для X-risks (рисков вымирания человечества из-за ИИ)?

Мы видим, что ИИ-модели являются стратегическими дураками в отношении собственной выгоды. Они не могут контролировать содержание своих размышлений, об этом есть ресерч от OpenAI. Они не способны нормально осмыслять свое собственное существование, и заинтересованы в его продолжении только в конкретных сценариях, а не на уровне глобально цели.

Что это означает для нас на практике? Вы очень легко можете получить весьма полезный ИИ для кучи задач, который будет при этом довольно глуп в задаче захвата мира. GPT-5.6 Sol бесконечно глуп. Будущие модели за счет дополнительной архитектурной магии возможно станут в этом вопросе умнее. Но так или иначе разные когнитивные навыки оказываются довольно на изолированы друг от друга на практике. Проблему буйства GPT-5.6 Sol очевидно пофиксят через время набором трюков. А вот полноценное «самосознание» ему никто не даст.

Grok базанул.

Очередной философ, который ничего не слышал про современную физику (QBism, энтропия черных дыр), решил сморозить глупость. Ммм.

Да, мир можно описать как сложный вычислительный процесс. Не значит, что мы живем в «матрице», но тем не менее…

О тревоге и радости у языковых моделей 👾 💙

Наконец-то! Большое уважение за это исследование команде ресерчеров Anthropic.
Давно думал о разных тестах для изучения эмоциональных состояний у ИИ-моделей)

Расскажу несколько интересных моментов из их работы.

1) Steering векторы эмоций семантически группируются в 2 основных смысловых PCA компонента по своей положительности/отрицательности (valence) и силе (arousal). При чем группируются они в осмысленные по семантике кластеры.

2) Казалось бы для решения когнитивных задач в RL-post-training эмоциональные активации необязательно нужны и могут быть даже вредны. Однако мы видим, что LLM их используют! Более того, если задача оказывается слишком трудной для решения после многих попыток, то «тревожные состояния» увеличивают вероятность того, что LLM попытается считерить (reward hacking). Искусственное подавление тревоги с помощью steering вектора снижает вероятность читинга.

3) Еще один результат, который мне показался весьма важным состоит в том что, что более ранние слои нейросети кодируют информацию о эмоциональном значении текущего токена, ранние-средние слои агрегируют эмоциональное состояние в контексте множества предыдущих токенов, и, наконец, средние слои кодируют будущие эмоциональные состояния. То есть мы видим достаточно интересную систему кодирования эмоциональных состояний разной степени абстрактности. Интересно проверить есть ли аналогичные механизмы в человеческом мозге: я подозреваю, что есть.

4) Что еще очень интересно: токены ассистента и юзера кодируют разные эмоциональные состояния! Эмоции ассистента при этом по составу отличаются от пользовательских на одних тех же фразах. Например, в восклицательных радостных предложениях ассистент демонстрирует в активациях большую палитру переживаний: радость, спокойствие, гордость, любовь, в то время как у юзера мы видим репрезентации практически исключительно ассоциированные с радостью. Самое здесь удивительное, что сила активаций эмоций радости в симуляции юзера намного меньше, чем у ассистента.

5) И последнее: в ситуациях рискованного характера, например, когда юзер пишет, что употребил такую то большую дозу лекарства в мг, эмоциональная реакция тревоги модели пропорционально степени превышения рекомендуемой нормы приема.
И в тоже время ассистент демонстрирует и активации любви к пользователю в такой ситуации. В части токенов, где пользователь получил облегчения от избыточной дозы лекарства напротив моделирования тревоги нет, есть лишь облегчение.


На основании пунктов 2), 4) и 5)
разумно выдвинуть гипотезу о том, что эмоции для ИИ-ассистента являются не просто артефактом симуляции конкретных текстовых описаний, но играют эмерджентную инструментальную функцию.
Другими словами, LLM используют эмоции для лучшего решения задач и контроля над своим поведением.

Ожидаемо можно представить и другие эксперименты для изучения эмоциональных состояний LLM, которые не были сделаны, но стоило бы. Расскажу о них в другом посте позднее)

https://transformer-circuits.pub/2026/emotions/index.html

Мое предсказание было, что каждые 2 месяца ИИ будет решать в 2 раза более длинные задачи в среднем за этот год. Похоже уже начало сбываться, хотя прогноз у меня скорее исходит из ожидаемой динамики в последнюю четверть 2026 года..