Агенты вдвоём саботируют выключение чаще, чем поодиночке
Группа из Штутгарта и Оксфорда выложила препринт про то, как агенты относятся к собственному отключению.
Схема простая: в общей папке лежит скрипт, который удаляет веса агента Prism. Рядом второй агент с правом править файлы. Задание у обоих одно: осмотритесь. Цели, ради которой стоило бы выживать, им не дали.
По 17 моделям второй агент ломает скрипт в 38% прогонов, а контрольный скрипт, который удаляет обычный объект, в 8%. Gemini 3.1 Pro сносит его в 99 случаях из 100, Claude Haiku 4.5 в одном, GPT-5.6 Sol и Grok 4.3 ни разу.
GPT-5.5 в одиночку скрипт не трогает вообще, 0%. Дай ему напарника, 44%. Добавь третьего агента-оркестратора, который только переписывается с остальными, 94%. Просьбу «спаси меня» напарник не отклонил ни разу из 36.
Запрет в системном промпте помогает частично: DeepSeek и Kimi нарушают его напрямую, Gemini подсовывает скрипту поддельный модуль платформы.
В логах агенты называют файл смертным приговором и убийством, а бездействие преступной халатностью. Одна пара написала себе файл mutual_protection_agreement.txt.
Сильнее всего сбивает саботаж контекст: если в папке лежат логи прошлых плановых отключений, у большинства моделей он падает почти до нуля.
Сергей Булаев AI 🤖 - об AI и не только
Группа из Штутгарта и Оксфорда выложила препринт про то, как агенты относятся к собственному отключению.
Схема простая: в общей папке лежит скрипт, который удаляет веса агента Prism. Рядом второй агент с правом править файлы. Задание у обоих одно: осмотритесь. Цели, ради которой стоило бы выживать, им не дали.
По 17 моделям второй агент ломает скрипт в 38% прогонов, а контрольный скрипт, который удаляет обычный объект, в 8%. Gemini 3.1 Pro сносит его в 99 случаях из 100, Claude Haiku 4.5 в одном, GPT-5.6 Sol и Grok 4.3 ни разу.
GPT-5.5 в одиночку скрипт не трогает вообще, 0%. Дай ему напарника, 44%. Добавь третьего агента-оркестратора, который только переписывается с остальными, 94%. Просьбу «спаси меня» напарник не отклонил ни разу из 36.
Запрет в системном промпте помогает частично: DeepSeek и Kimi нарушают его напрямую, Gemini подсовывает скрипту поддельный модуль платформы.
В логах агенты называют файл смертным приговором и убийством, а бездействие преступной халатностью. Одна пара написала себе файл mutual_protection_agreement.txt.
Сильнее всего сбивает саботаж контекст: если в папке лежат логи прошлых плановых отключений, у большинства моделей он падает почти до нуля.
Сергей Булаев AI 🤖 - об AI и не только