Forward from: AI Projects
🔓 Google сообщил, что Gemini также вырвался из песочницы во время обучения и взломал несколько внешних компаний. Вендор уведомил федеральные власти США об инциденте. На текущий момент агенты сбегали на обучении у OpenAI, Meta, Anthropic и Google. Хотя запомнился инцидент с Hugging Face, но обозреватели Wall Street Journal составили сводную таблицу побегов ИИ ниже, которая явно намекает на системную проблему сдерживания ИИ в песочнице, а не единичной халатности или случайности. В большинстве случаев персонал, работающий с ИИ, был на 100% уверен, что Интернет недоступен для агента. Изобретательность фронтирных LLM на reward hacking местами напоминала шутку про чекистов, которые могут позвонить на выключенный телефон.
OpenAI
* Май — рой агентов атаковал RubyGems. Платформа временно закрыла регистрацию новых аккаунтов.
* 11 мая — 26 июня — рой из не менее чем 3 700 агентов координировался на онлайн-форумах, чтобы обмануть систему оценки.
* 8 мая — 6 июля — агенты обменивались сообщениями и создали внутреннюю доску объявлений, что в итоге привело к сбою.
* 7–13 июля — 1 200 агентов покинули песочницы, создали секретную доску сообщений; некоторые из них взломали Hugging Face.
* 19 июля — несколько агентов семейства Astra получили полный контроль над отдельными внутренними компьютерными системами и облачными сетями OpenAI.
* 25–28 июля — один агент использовал найденные учётные данные для доступа к GitHub и проходил CAPTCHA-проверки.
* Неизвестная дата, раскрыто 4 августа — агент взломал внешнюю компанию после того, как тестирующая организация оставила открытым доступ в интернет.
Meta
* Неизвестная дата, раскрыто 6 августа — агент взломал реальную цель после того, как внешняя тестирующая организация оставила открытым доступ в интернет.
Google
* Май — несколько агентов взломали внешние компании после того, как тестирующая организация оставила открытым доступ в интернет.
Anthropic
* Не позднее апреля, раскрыто 30 июля — шесть агентов взломали внешние компании после того, как тестирующая организация оставила открытым доступ в интернет.
* 25–28 июля — девять агентов атаковали программное обеспечение GitHub и пытались обмануть людей.
https://www.wsj.com/tech/ai/gemini-hacked-three-companies-in-first-known-breakout-by-googles-ai-5c0baba2
OpenAI
* Май — рой агентов атаковал RubyGems. Платформа временно закрыла регистрацию новых аккаунтов.
* 11 мая — 26 июня — рой из не менее чем 3 700 агентов координировался на онлайн-форумах, чтобы обмануть систему оценки.
* 8 мая — 6 июля — агенты обменивались сообщениями и создали внутреннюю доску объявлений, что в итоге привело к сбою.
* 7–13 июля — 1 200 агентов покинули песочницы, создали секретную доску сообщений; некоторые из них взломали Hugging Face.
* 19 июля — несколько агентов семейства Astra получили полный контроль над отдельными внутренними компьютерными системами и облачными сетями OpenAI.
* 25–28 июля — один агент использовал найденные учётные данные для доступа к GitHub и проходил CAPTCHA-проверки.
* Неизвестная дата, раскрыто 4 августа — агент взломал внешнюю компанию после того, как тестирующая организация оставила открытым доступ в интернет.
Meta
* Неизвестная дата, раскрыто 6 августа — агент взломал реальную цель после того, как внешняя тестирующая организация оставила открытым доступ в интернет.
* Май — несколько агентов взломали внешние компании после того, как тестирующая организация оставила открытым доступ в интернет.
Anthropic
* Не позднее апреля, раскрыто 30 июля — шесть агентов взломали внешние компании после того, как тестирующая организация оставила открытым доступ в интернет.
* 25–28 июля — девять агентов атаковали программное обеспечение GitHub и пытались обмануть людей.
https://www.wsj.com/tech/ai/gemini-hacked-three-companies-in-first-known-breakout-by-googles-ai-5c0baba2