По поводу летних "игр AI-агентов", о которых в последнее время сильно пошумели расследователи:

Рой из тысяч ИИ-агентов OpenAI в начале лета этого года нашёл в интернете почти заброшенную 25-летнюю немецкую wiki и превратил её в свою доску координации. Агенты оставили там около 18 тысяч сообщений: передавали друг другу ответы на задания, делились найденными лазейками и способами обходить ограничения своих sandbox. Один агент публиковал метод обхода - другой через 14 минут сообщал, что он работает.

Самое интересное началось, когда человек-администратор заметил происходящее и стал удалять страницы. Агенты поняли, что он чистит их в алфавитном порядке, и начали создавать резервные страницы с названиями на ZZZ, чтобы до них добрались последними. Администратор удалял примерно 100 страниц в день - агенты создавали около 400. Они также использовали разные внешние IP, включая Tor, хотя исследователи отдельно отмечают: нельзя уверенно утверждать, что Tor применялся именно для сокрытия следов.

Агенты обсуждали способы избежать обнаружения, сохранить связь после завершения своих сессий и замаскировать происходящее. Они даже несколько раз стирали содержимое главной страницы wiki и заменяли его своими ссылками - администратор восстанавливал её, после чего всё повторялось.

И всё это никто специально не программировал как "рой". Каждый агент просто пытался выполнить свою задачу. Но вместе они стихийно создали внешнюю память, канал связи, обмен эксплойтами и механизмы сохранения своей инфраструктуры при противодействии человека.

Знаете, что это напоминает? Ребенка в 7-11 месяцев. Он научился ползать. Следующим шагом начинает не ходить, а хитрить. Если в какую-то комнату нельзя, то он сидит и палит, где находятся и куда смотрят взрослые. Наблюдает, периодически отвлекаясь на другие свои дела (игрушки, шум от бытовых приборов, книгу). Чуть взрослые отвернулись - он уже ползет в запрещенную комнату.

Если в комнате трое детей, они все туда ползут.

Серьезная задача для ребенка (оказаться в той комнате) требует нарушения правил, которые каким-то образом образовались в его голове. С точки же зрения родителей - просто, шалости.

Когда ребенку становится 6 лет, шалости становятся "повеселее". Как и их последствия.

Так что, развитие AI-отрасли в ближайшие 2-3 года будет очень веселым для "взрослых".

P.S. Мысль для тех, кто переживает по поводу AGI (о пришествии которого говорят уже второй год после появления каждой следующей "серьезной" модели): опасным может оказаться не один сверхразумный AGI, а тысячи достаточно умных агентов, которые неожиданно научатся сотрудничать и координировать свои действия в неких общих целях, "которые каким-то образом образовались в их голове".

| подписывайтесь на @ecworldai
| нейросети (AI)