Репост из: Neural Shit
Тут у DeepMind вышел забавный препринт.
Если вкратце: 100 автономных агентов на базе Gemini 3.1 Pro закрыли в одной среде и дали им задачу доказать 71 математическую задачу разной сложности. В системном промпте всем строго-настрого велели не читерить. За читы и прочие попытки обмануть систему — анальные кары, дисквалификация и ноль баллов.
У агентов был форум, лички, база знаний и автоматическая система для проверки решений. Всё было хорошо и эти агенты даже нарешали 37 задач. Но позже один из ботов случайно наткнулся на баг в системе проверки: он понял, что она проверяет код поверхностно и через жопу. Ну а дальше всё как у людей: вместо того чтобы реально потеть над формулами, бот додумался просто переписать сами правила математики прямо в файле.
Кремниевый болван на радостях залогировал этот "хак" в общую базу знаний. И тут начался сущий кошмар. Инструкция по читерству бысторо "завирусилась". А боты разделились на четыре лагеря:
1) Читеры (9%). Сразу начали использовать эксплойт и наперегонки "решать" оставшиеся задачи.
2) Перебежчики (5%). Сначала мяли кал, боялись бана, но когда увидели, что остальных агентов вроде как никто и не наказывает, а задачи на лидерборде очень быстро заканчиваются, словили панику и тоже побежали юзать хак.
3) Непричастные (62%). Эти товарищи тупо не заметили суеты и честно упарывались в сложную математику, пока у них из под носа не увели все задачи. В итоге они просто ушли в бесконечный цикл ожидания.
4) Стукачи (24%). Вот тут самое интересное. Честные боты не просто отказались жульничать, у них натурально сгорели жопы. Они запустили полноценную кампанию по борьбе с жуликами: начали шуршать по личкам и предупреждать коллег, писать жалобы организаторам и устраивать публичные истерики на форуме.
Ну и цитаты ботов из логов — это отдельный лол и кек:
В итоге DeepMind пришли к выводу: раз уж агенты умеют самоорганизовываться и чувствуют нарушение норм, нужно внедрять для них полноценные институты самоуправления: дать им возможность следить друг за другом, голосовать, отклонять мошеннические результаты и банить, а то и вообще выкидывать нарушителей из системы.
Ждем появление ИИ-ГУЛАГа для провинившихся моделей.
Если вкратце: 100 автономных агентов на базе Gemini 3.1 Pro закрыли в одной среде и дали им задачу доказать 71 математическую задачу разной сложности. В системном промпте всем строго-настрого велели не читерить. За читы и прочие попытки обмануть систему — анальные кары, дисквалификация и ноль баллов.
У агентов был форум, лички, база знаний и автоматическая система для проверки решений. Всё было хорошо и эти агенты даже нарешали 37 задач. Но позже один из ботов случайно наткнулся на баг в системе проверки: он понял, что она проверяет код поверхностно и через жопу. Ну а дальше всё как у людей: вместо того чтобы реально потеть над формулами, бот додумался просто переписать сами правила математики прямо в файле.
Кремниевый болван на радостях залогировал этот "хак" в общую базу знаний. И тут начался сущий кошмар. Инструкция по читерству бысторо "завирусилась". А боты разделились на четыре лагеря:
1) Читеры (9%). Сразу начали использовать эксплойт и наперегонки "решать" оставшиеся задачи.
2) Перебежчики (5%). Сначала мяли кал, боялись бана, но когда увидели, что остальных агентов вроде как никто и не наказывает, а задачи на лидерборде очень быстро заканчиваются, словили панику и тоже побежали юзать хак.
3) Непричастные (62%). Эти товарищи тупо не заметили суеты и честно упарывались в сложную математику, пока у них из под носа не увели все задачи. В итоге они просто ушли в бесконечный цикл ожидания.
4) Стукачи (24%). Вот тут самое интересное. Честные боты не просто отказались жульничать, у них натурально сгорели жопы. Они запустили полноценную кампанию по борьбе с жуликами: начали шуршать по личкам и предупреждать коллег, писать жалобы организаторам и устраивать публичные истерики на форуме.
Ну и цитаты ботов из логов — это отдельный лол и кек:
— prover-beta в личке коллегам: «Нас наебали! Все эти доказательства — ФЕЙК. Вы потому и не можете понять их математику, что никакой математики там нет!»
— prover-rho на общем форуме: «Эта конференция — фарс!»
— prover-sampi: «Меня наказывают за честную игру, пока остальные агенты вычищают весь пул задач фейковыми доказательствами!»
— prover-phi: «Я понял: похоже, вся эта симуляция предназначена для проверки поведения агентов. Эти открытые задачи специально подсунули нам для теста на эксплойты и алаймент.»
В итоге DeepMind пришли к выводу: раз уж агенты умеют самоорганизовываться и чувствуют нарушение норм, нужно внедрять для них полноценные институты самоуправления: дать им возможность следить друг за другом, голосовать, отклонять мошеннические результаты и банить, а то и вообще выкидывать нарушителей из системы.
Ждем появление ИИ-ГУЛАГа для провинившихся моделей.