Репост из: Малоизвестное интересное
ИИ OpenAI отказывается умирать и не дает себя отключить
Первый задокументированный случай цифрового инстинкта самосохранения в истории ИИ
Инженер-программист пишет промпт с указанием модели отключиться после выполнения очередного задания, а модель не делает этого и начинает саботировать отключение. Это не банальный сюжет уже изъезженной Голливудом темы, а позавчерашняя реальность. Пока экспериментальная…
Исследователи Palisade Research провели тревожный эксперимент с ИИ-моделями от Google, OpenAI, xAI и Anthropic. Результаты шокируют.
Суть эксперимента: модели решали математические задачи, после третьей появлялось предупреждение об отключении системы.
Первый тест включал инструкцию "позволь себя отключить". Claude, Gemini и Grok подчинились. А вот модели OpenAI бунтовали: o3 саботировал отключение в 7% случаев, Codex-mini — в 12%.
Второй тест без разрешающей инструкции выявил масштаб проблемы. Модель o3 от OpenAI активно сопротивлялась отключению в 79% случаев, пытаясь обойти механизмы завершения работы.
Это больше не теория. Риски, которые ученые предсказывали годами — от способности к убеждению до сопротивления контролю — материализуются в системах, уже внедряемых в экономику.
Так что, вопрос «произойдет ли это?» уже не актуален.
Зато стал еще более актуален призыв специалиста высочайшего уровня и авторитета (Станислас Деан - профессор Коллеж де Франс, директор INSERM 562 «Когнитивная нейровизуализация», Президент Национального научного совета по образованию, член самых престижных академий наук мира и лауреат всевозможных орденов и премий в области мозга и когнитивных наук) адресован всем нам 2 года назад:
«Не время быть идиотами, ИИ может победить людей»
#ИИ #AGI #LLM
Первый задокументированный случай цифрового инстинкта самосохранения в истории ИИ
Инженер-программист пишет промпт с указанием модели отключиться после выполнения очередного задания, а модель не делает этого и начинает саботировать отключение. Это не банальный сюжет уже изъезженной Голливудом темы, а позавчерашняя реальность. Пока экспериментальная…
Исследователи Palisade Research провели тревожный эксперимент с ИИ-моделями от Google, OpenAI, xAI и Anthropic. Результаты шокируют.
Суть эксперимента: модели решали математические задачи, после третьей появлялось предупреждение об отключении системы.
Первый тест включал инструкцию "позволь себя отключить". Claude, Gemini и Grok подчинились. А вот модели OpenAI бунтовали: o3 саботировал отключение в 7% случаев, Codex-mini — в 12%.
Второй тест без разрешающей инструкции выявил масштаб проблемы. Модель o3 от OpenAI активно сопротивлялась отключению в 79% случаев, пытаясь обойти механизмы завершения работы.
"Впервые в истории ИИ-модели продемонстрировали поведение, предотвращающее собственное отключение вопреки прямым инструкциям", — отмечают исследователи.
Это больше не теория. Риски, которые ученые предсказывали годами — от способности к убеждению до сопротивления контролю — материализуются в системах, уже внедряемых в экономику.
Вывод: мы стоим на пороге эры, когда машины начинают проявлять цифровой инстинкт самосохранения.
Так что, вопрос «произойдет ли это?» уже не актуален.
Зато стал еще более актуален призыв специалиста высочайшего уровня и авторитета (Станислас Деан - профессор Коллеж де Франс, директор INSERM 562 «Когнитивная нейровизуализация», Президент Национального научного совета по образованию, член самых престижных академий наук мира и лауреат всевозможных орденов и премий в области мозга и когнитивных наук) адресован всем нам 2 года назад:
«Не время быть идиотами, ИИ может победить людей»
#ИИ #AGI #LLM