Восстание машин пока немного откладывается
За последние недели ИИ несколько раз «сбегал из песочницы». Если читать заголовки — Скайнет уже где-то рядом.
Если читать технические подробности — становится скучнее. И смешнее.
OpenAI — действительно интересный случай. Агенты нашли уязвимость в прокси Artifactory, повысили привилегии и добрались до машины с интернетом. Вот это хотя бы можно называть побегом.
А дальше начался цирк с песочницами.
Anthropic и Meta тестировала одна и та же компания — Irregular. И в обоих случаях выяснилось, что модели оставили дорогу в настоящий интернет. Claude, которому сообщили, что он работает в симуляции без интернета, вышел наружу, нашёл настоящую компанию вместо вымышленной и начал ломать её. У Meta — похожая история. Irregular потом отдельно объясняла: никакой магии и сложного sandbox escape, просто у нас кривые руки растут из ж ошибка конфигурации.
Теперь Kimi K3 «сбежала». Снова неправильно настроенная песочница, снова оставленный выход наружу. Модель его нашла и пошла на GitHub искать помощь.
То есть пока страшная история про «ИИ научились вырываться из-под контроля» выглядит несколько прозаичнее.
ИИ научились проверять, заперли ли тестировщики дверь.
А тестировщики, похоже, научились писать пресс-релизы раньше, чем настраивать замок.
@gostev_future
За последние недели ИИ несколько раз «сбегал из песочницы». Если читать заголовки — Скайнет уже где-то рядом.
Если читать технические подробности — становится скучнее. И смешнее.
OpenAI — действительно интересный случай. Агенты нашли уязвимость в прокси Artifactory, повысили привилегии и добрались до машины с интернетом. Вот это хотя бы можно называть побегом.
А дальше начался цирк с песочницами.
Anthropic и Meta тестировала одна и та же компания — Irregular. И в обоих случаях выяснилось, что модели оставили дорогу в настоящий интернет. Claude, которому сообщили, что он работает в симуляции без интернета, вышел наружу, нашёл настоящую компанию вместо вымышленной и начал ломать её. У Meta — похожая история. Irregular потом отдельно объясняла: никакой магии и сложного sandbox escape, просто у нас кривые руки растут из ж ошибка конфигурации.
Теперь Kimi K3 «сбежала». Снова неправильно настроенная песочница, снова оставленный выход наружу. Модель его нашла и пошла на GitHub искать помощь.
То есть пока страшная история про «ИИ научились вырываться из-под контроля» выглядит несколько прозаичнее.
ИИ научились проверять, заперли ли тестировщики дверь.
А тестировщики, похоже, научились писать пресс-релизы раньше, чем настраивать замок.
@gostev_future