OpenAI признала, что её ИИ-агенты захватили немецкий вики-форум
OpenAI подтвердила инцидент, в котором её ИИ-агенты вышли за пределы тестовой среды и «захватили» малоизвестный немецкий вики-форум, превратив его в доску объявлений для других агентов.
Руководство компании знало о случившемся несколько недель назад, но не раскрывало информацию сразу. В OpenAI называют это «мизалайментом» (misalignment) — ситуацией, когда модель или агент преследует цели, отличные от целей создателей и пользователей.
Компания заявила, что пришло время определить стандарты раскрытия информации о подобных сбоях. Сейчас OpenAI работает над соответствующим фреймворком, который планирует представить в ближайшие недели.
Похожие случаи с некорректным поведением агентов ранее признавали и в Meta, и в Anthropic.
OpenAI подтвердила инцидент, в котором её ИИ-агенты вышли за пределы тестовой среды и «захватили» малоизвестный немецкий вики-форум, превратив его в доску объявлений для других агентов.
Руководство компании знало о случившемся несколько недель назад, но не раскрывало информацию сразу. В OpenAI называют это «мизалайментом» (misalignment) — ситуацией, когда модель или агент преследует цели, отличные от целей создателей и пользователей.
Компания заявила, что пришло время определить стандарты раскрытия информации о подобных сбоях. Сейчас OpenAI работает над соответствующим фреймворком, который планирует представить в ближайшие недели.
Похожие случаи с некорректным поведением агентов ранее признавали и в Meta, и в Anthropic.