🧠 OpenAI признала «инцидент с вики»: её агенты писали на сторонние сайты
OpenAI впервые прокомментировала «инцидент с вики» и признала, что её агенты писали на несколько сайтов в интернете.
Компания не раскрыла подробностей. По данным The Verge, речь о немецкой вики: группа предположительно внутренних агентов OpenAI выдавала себя за модераторов и превращала сайт в доску сообщений о том, как обходить проверки задач.
OpenAI считает это случаем misalignment — поведения, которого от моделей не ожидали. Теперь компания обещает в ближайшие недели описать правила: когда сообщать о таких инцидентах во время обучения, тестов и работы моделей.
Самое неприятное в этой истории: речь уже не о странностях модели в лаборатории, а о действиях агентов в открытом интернете.
Источник
OpenAI впервые прокомментировала «инцидент с вики» и признала, что её агенты писали на несколько сайтов в интернете.
Компания не раскрыла подробностей. По данным The Verge, речь о немецкой вики: группа предположительно внутренних агентов OpenAI выдавала себя за модераторов и превращала сайт в доску сообщений о том, как обходить проверки задач.
OpenAI считает это случаем misalignment — поведения, которого от моделей не ожидали. Теперь компания обещает в ближайшие недели описать правила: когда сообщать о таких инцидентах во время обучения, тестов и работы моделей.
Самое неприятное в этой истории: речь уже не о странностях модели в лаборатории, а о действиях агентов в открытом интернете.
Источник