⚡ Глава Anthropic призвал замедлить развитие ИИ и допустить независимых проверяющих внутрь лабораторий
В статье We Must Pace the Frontier Дарио Амодеи объяснил, почему изменил позицию: в 2023 году замедление казалось ему преждевременным, теперь он считает его необходимым.
Самое интересное:
🔹 ИИ уже ускоряет создание следующего поколения моделей. По словам Амодеи, рекурсивное самоулучшение начинается в отрасли, включая Anthropic. Он опасается, что возможности систем будут расти быстрее, чем способы их контроля.
🔹 Его тревожный сценарий - масштабные кибератаки через 6–12 месяцев. Амодеи допускает, что более мощный рой агентов сможет создать устойчивый ботнет и нанести ущерб на сотни миллиардов долларов. Это его оценка риска.
🔹 Anthropic обещает постоянный доступ внешним проверяющим. Рабочие места, пропуска, инструменты и права, сопоставимые с внутренними командами оценки рисков. Проверять предлагается и готовые модели, и процесс обучения.
🔹 Проверяющие смогут публиковать неудобные выводы. Компания предусматривает ограничения для защищённой информации, но обещает не скрывать результаты только потому, что они ей невыгодны.
🔹 Цель - выиграть год-два для безопасности. Среди предложений: обязательные проверки при достижении опасных возможностей и международные ограничения скорости самоулучшения ИИ. Полную глобальную паузу Амодеи считает маловероятной в ближайшее время.
Полная cтатья - https://darioamodei.com/post/we-must-pace-the-frontier
@ai_machinelearning_big_data
#Anthropic
В статье We Must Pace the Frontier Дарио Амодеи объяснил, почему изменил позицию: в 2023 году замедление казалось ему преждевременным, теперь он считает его необходимым.
Самое интересное:
🔹 ИИ уже ускоряет создание следующего поколения моделей. По словам Амодеи, рекурсивное самоулучшение начинается в отрасли, включая Anthropic. Он опасается, что возможности систем будут расти быстрее, чем способы их контроля.
🔹 Его тревожный сценарий - масштабные кибератаки через 6–12 месяцев. Амодеи допускает, что более мощный рой агентов сможет создать устойчивый ботнет и нанести ущерб на сотни миллиардов долларов. Это его оценка риска.
🔹 Anthropic обещает постоянный доступ внешним проверяющим. Рабочие места, пропуска, инструменты и права, сопоставимые с внутренними командами оценки рисков. Проверять предлагается и готовые модели, и процесс обучения.
🔹 Проверяющие смогут публиковать неудобные выводы. Компания предусматривает ограничения для защищённой информации, но обещает не скрывать результаты только потому, что они ей невыгодны.
🔹 Цель - выиграть год-два для безопасности. Среди предложений: обязательные проверки при достижении опасных возможностей и международные ограничения скорости самоулучшения ИИ. Полную глобальную паузу Амодеи считает маловероятной в ближайшее время.
Полная cтатья - https://darioamodei.com/post/we-must-pace-the-frontier
@ai_machinelearning_big_data
#Anthropic