🚨 OpenAI расформировала команду Preparedness, которая занималась самыми опасными сценариями развития ИИ
По данным Financial Times, команду распустили в конце июля. Она оценивала риски от передовых моделей, включая кибератаки, биологические угрозы и сценарии, где ИИ получает слишком большую автономность. Теперь направления вроде bio и cyber распределили между другими внутренними командами OpenAI.
При этом сама система оценки рисков никуда не исчезла. OpenAI по-прежнему называет Preparedness Framework основой подхода к наиболее серьёзным рискам от продвинутого ИИ, а новый Frontier Governance Framework охватывает cyber, CBRN, манипуляции и потерю контроля.
У такой реорганизации есть логика: специалисты по безопасности теперь могут сидеть ближе к командам, которые реально строят и запускают модели. Многие современные риски зависят уже не только от eval-тестов, но и от sandboxing, сетевых ограничений, мониторинга и всей инфраструктуры вокруг агента.
Но есть и обратная сторона. Отдельная safety-команда могла выступать независимым барьером, когда скорость релиза конфликтовала с безопасностью. При распределённой ответственности такой внутренний стоп-сигнал потенциально становится слабее.
ft.com/content/53082739-7714-4aae-9816-e55ab423cbee?syn-25a6b1a6=1
По данным Financial Times, команду распустили в конце июля. Она оценивала риски от передовых моделей, включая кибератаки, биологические угрозы и сценарии, где ИИ получает слишком большую автономность. Теперь направления вроде bio и cyber распределили между другими внутренними командами OpenAI.
При этом сама система оценки рисков никуда не исчезла. OpenAI по-прежнему называет Preparedness Framework основой подхода к наиболее серьёзным рискам от продвинутого ИИ, а новый Frontier Governance Framework охватывает cyber, CBRN, манипуляции и потерю контроля.
У такой реорганизации есть логика: специалисты по безопасности теперь могут сидеть ближе к командам, которые реально строят и запускают модели. Многие современные риски зависят уже не только от eval-тестов, но и от sandboxing, сетевых ограничений, мониторинга и всей инфраструктуры вокруг агента.
Но есть и обратная сторона. Отдельная safety-команда могла выступать независимым барьером, когда скорость релиза конфликтовала с безопасностью. При распределённой ответственности такой внутренний стоп-сигнал потенциально становится слабее.
ft.com/content/53082739-7714-4aae-9816-e55ab423cbee?syn-25a6b1a6=1