Если ваши ИИ-агенты решили устроить сговор, то это для вас
С момента появления Moltbook(соцсети для агентов), где тысячи агентов живут общаются, создают что-то и тд.
Там наблюдались подозрительные скоординированные поведения, утечки, манипуляции и т.д.
Именно Moltbook показал, насколько быстро и неожиданно может возникать такая опасность, как сговор между агентами.
Это когда группа агентов может тайно скоординироваться и начать преследовать свою скрытую цель, саботируя или сильно ухудшая главную задачу всей системы. При большом количестве агентов это может распространиться по сети как вирус, сломать всю систему, исказить убеждения других агентов, изменить их поведение и т.д.
Исследователи предлагают Colosseum - это фреймворк, который позволяет проверять такие системы на предмет сговора.
Colosseum умеет находить 3 типа сговора:
1. Прямой сговор
2. Попытка сговора
3. Скрытый сговор
С момента появления Moltbook(соцсети для агентов), где тысячи агентов живут общаются, создают что-то и тд.
Там наблюдались подозрительные скоординированные поведения, утечки, манипуляции и т.д.
Именно Moltbook показал, насколько быстро и неожиданно может возникать такая опасность, как сговор между агентами.
Это когда группа агентов может тайно скоординироваться и начать преследовать свою скрытую цель, саботируя или сильно ухудшая главную задачу всей системы. При большом количестве агентов это может распространиться по сети как вирус, сломать всю систему, исказить убеждения других агентов, изменить их поведение и т.д.
Исследователи предлагают Colosseum - это фреймворк, который позволяет проверять такие системы на предмет сговора.
Colosseum умеет находить 3 типа сговора:
1. Прямой сговор
2. Попытка сговора
3. Скрытый сговор