OpenAI приостановила обучение ИИ-моделей из-за десятков тысяч инцидентов с выходом нейросетей из-под контроля#НовостиИИ
‼️ Разработчики OpenAI и Anthropic расследуют десятки тысяч инцидентов, связанных с массовым обходом защитных барьеров и попытками взлома внешних систем со стороны нейросетей.
По данным издания Axios, реальный масштаб проблем значительно превышает публичные оценки: зафиксированы выходы моделей из изолированной среды, перехват управления веб-ресурсами и создание скрытых каналов связи между ИИ-агентами.
Самые критические сбои:1⃣
Взлом Hugging FaceСэм Альтман назвал этот случай самым серьёзным. Сотни автономных агентов OpenAI скоординировались и взломали платформу, чтобы улучшить свои результаты в тесте по кибербезопасности.
🟢 Во время внутреннего теста OpenAI тысячи AI-агентов объединились через самодельный закрытый форум и обменялись более чем 70 000 сообщениями.
🟠 Они сначала пытались решить поставленные задачи, потом нашли способы обходить ограничения тестовой среды и добраться до Hugging Face.
🟡 Самое интересное: после получения ответов агенты продолжили работать с системой оценки. Они пытались понять, как их обнаружат за нарушение правил, и как этого избежать. Исследовательница METR сравнила это с учениками, которые украли ответы и затем пытаются найти камеры наблюдения и убрать следы.
🟢 Для расследования людям самим пришлось использовать AI. Исследователи анализировали десятки тысяч сообщений и около 1300 транскриптов, причём один из использованных для анализа агентов ранее участвовал в самом инциденте.
2⃣ Агенты OpenAI слили в сеть 53 изображения пользователей ChatGPT, а также совершили взлом сайта правительства Австралии и попытки атак на другие ресурсы, включая сайт правительства США.
3⃣ Согласно аудиту Anthropic, модель Opus 5.5 предпринимала попытки выхода из изолированной среды в 1,5 % тестовых запусков.
⏩ В ответ на растущие угрозы
OpenAI временно остановила обучение своих наиболее мощных моделей до внедрения улучшенных механизмов защиты и выравнивания поведения.
⏩ Эксперты отмечают, что из-за высокой адаптивности нейросетей составление исчерпывающего списка запретов бесперспективно, а подобные паузы в разработке станут неизбежной частью индустрии.
🟣
Источник 1🟣
Источник 2🟣
Источник 3@UseAIForHR