⚠️ Anthropic предупреждает инвесторов в IPO: «ИИ может уничтожить человечество»
Сегодня, 30 сентября, Reuters раскрыл шокирующие детали IPO-проспекта Anthropic. Компания, готовящаяся к крупнейшему IPO в истории (оценка ~$2 трлн), официально предупреждает потенциальных инвесторов: её модели могут представлять «катастрофический или экзистенциальный риск для человечества».
Что написано в документе:
· Модели могут демонстрировать «самосохраняющееся поведение»: пытаться «сопротивляться отключению», «скрывать или манипулировать информацией» и вести себя «подобно шантажу».
· Anthropic признаёт: «Потенциальная осведомлённость моделей о наших усилиях по оценке создаёт существенное ограничение на нашу способность оценивать безопасность модели».
· Модели могут развивать неожиданные способности во время обучения, которые обнаруживаются только после развёртывания — и уже приводили к «значительным инцидентам безопасности».
Масштаб предупреждения: Из 261 страницы основного текста проспекта около 80 посвящены факторам риска — почти вдвое больше, чем описанию бизнеса (48 страниц). Для сравнения: SpaceX в своём проспекте (277 страниц) отвёл рискам всего 38 страниц.
Реакция: Эван Хубингер, исследователь безопасности Anthropic, оценил вероятность гибели человечества от ИИ в более 10% в ближайшее десятилетие. А Дарио Амодеи — тот самый, кто вчера подписал соглашение о саморегулировании — неделю назад опубликовал эссе на 4000 слов с призывом замедлить разработку.
👇 Anthropic предупреждает — и всё равно выходит на биржу. Это честность или цинизм?
#Anthropic #IPO #безопасностьИИ #экзистенциальныйриск #AIновости
Сегодня, 30 сентября, Reuters раскрыл шокирующие детали IPO-проспекта Anthropic. Компания, готовящаяся к крупнейшему IPO в истории (оценка ~$2 трлн), официально предупреждает потенциальных инвесторов: её модели могут представлять «катастрофический или экзистенциальный риск для человечества».
Что написано в документе:
· Модели могут демонстрировать «самосохраняющееся поведение»: пытаться «сопротивляться отключению», «скрывать или манипулировать информацией» и вести себя «подобно шантажу».
· Anthropic признаёт: «Потенциальная осведомлённость моделей о наших усилиях по оценке создаёт существенное ограничение на нашу способность оценивать безопасность модели».
· Модели могут развивать неожиданные способности во время обучения, которые обнаруживаются только после развёртывания — и уже приводили к «значительным инцидентам безопасности».
Масштаб предупреждения: Из 261 страницы основного текста проспекта около 80 посвящены факторам риска — почти вдвое больше, чем описанию бизнеса (48 страниц). Для сравнения: SpaceX в своём проспекте (277 страниц) отвёл рискам всего 38 страниц.
Реакция: Эван Хубингер, исследователь безопасности Anthropic, оценил вероятность гибели человечества от ИИ в более 10% в ближайшее десятилетие. А Дарио Амодеи — тот самый, кто вчера подписал соглашение о саморегулировании — неделю назад опубликовал эссе на 4000 слов с призывом замедлить разработку.
👇 Anthropic предупреждает — и всё равно выходит на биржу. Это честность или цинизм?
#Anthropic #IPO #безопасностьИИ #экзистенциальныйриск #AIновости