Постой, паровоз, не стучите, колеса. Кондуктор, нажми на тормоза
Создатель Claude, Амодей: «Нам необходимо замедлить темпы совершенствования возможностей моделей искусственного интеллекта».
Илон Маск: «Дарио прав».
Создатель ChatGPT, Альтман. По данным Bloomberg, заявил на внутреннем общем собрании OpenAI, что компания может замедлить разработку. Ранее он публично высказывался осторожнее: «Возможно, нам придется регулировать темп развития ИИ, чтобы дать обществу достаточно времени адаптироваться к новым уровням возможностей».
Почему они резко заговорили об этом именно сейчас? В заявлениях Амодея и Альтмана повторяются две весьма конкретные причины — recursive self-improvement и реальные случаи, когда агенты при тестировании вышли за предполагаемые границы поведения. Что это такое?
Сегодня frontier-модели уже пишут значительную часть исследовательского кода, запускают эксперименты, анализируют результаты, ищут ошибки, оптимизируют код, помогают с оценкой и проверяют безопасность и соблюдение правил. Anthropic прямо пишет, что всё большую часть разработки AI они передают самим AI-системам.
Математически это уже положительная обратная связь:
более сильный AI → быстрее AI R&D → более сильный AI → ещё быстрее AI R&D.
👆 Но не стоит пока паниковать. Точка невозврата ещё не пройдена. Мы ещё не потеряли контроль над AI. Но впервые получили достаточно убедительную демонстрацию того, что достаточно мощный агент, поставленный перед сложной целью и недостаточно хорошо ограниченный, сам способен найти цепочку способов выйти за предусмотренные разработчиками рамки — причём в своих рассуждениях фиксируя, что он эти рамки нарушает.
А теперь на это накладывается второй тренд: эти же AI всё активнее участвуют в создании следующего поколения AI.
🔊 А может, всё-таки стоит паниковать?
А китайцы? Они примкнут к американцам и тоже нажмут на тормоза?
США и Китай действительно собираются обсуждать безопасность ИИ. Но от обсуждения рисков до соглашения синхронно ограничить разработку самых мощных моделей — дистанция огромного размера. Пока никаких признаков того, что Китай готов остановиться, если остановятся американские лаборатории, нет. Равно как трудно представить, что американцы добровольно притормозят, если Китай продолжит гонку.
И вот здесь возникает классическая дилемма заключённого: возможно, замедлиться выгодно всем, но замедлиться первым — опасно для каждого.
Создатель Claude, Амодей: «Нам необходимо замедлить темпы совершенствования возможностей моделей искусственного интеллекта».
Илон Маск: «Дарио прав».
Создатель ChatGPT, Альтман. По данным Bloomberg, заявил на внутреннем общем собрании OpenAI, что компания может замедлить разработку. Ранее он публично высказывался осторожнее: «Возможно, нам придется регулировать темп развития ИИ, чтобы дать обществу достаточно времени адаптироваться к новым уровням возможностей».
Почему они резко заговорили об этом именно сейчас? В заявлениях Амодея и Альтмана повторяются две весьма конкретные причины — recursive self-improvement и реальные случаи, когда агенты при тестировании вышли за предполагаемые границы поведения. Что это такое?
Сегодня frontier-модели уже пишут значительную часть исследовательского кода, запускают эксперименты, анализируют результаты, ищут ошибки, оптимизируют код, помогают с оценкой и проверяют безопасность и соблюдение правил. Anthropic прямо пишет, что всё большую часть разработки AI они передают самим AI-системам.
Математически это уже положительная обратная связь:
более сильный AI → быстрее AI R&D → более сильный AI → ещё быстрее AI R&D.
👆 Но не стоит пока паниковать. Точка невозврата ещё не пройдена. Мы ещё не потеряли контроль над AI. Но впервые получили достаточно убедительную демонстрацию того, что достаточно мощный агент, поставленный перед сложной целью и недостаточно хорошо ограниченный, сам способен найти цепочку способов выйти за предусмотренные разработчиками рамки — причём в своих рассуждениях фиксируя, что он эти рамки нарушает.
А теперь на это накладывается второй тренд: эти же AI всё активнее участвуют в создании следующего поколения AI.
🔊 А может, всё-таки стоит паниковать?
А китайцы? Они примкнут к американцам и тоже нажмут на тормоза?
США и Китай действительно собираются обсуждать безопасность ИИ. Но от обсуждения рисков до соглашения синхронно ограничить разработку самых мощных моделей — дистанция огромного размера. Пока никаких признаков того, что Китай готов остановиться, если остановятся американские лаборатории, нет. Равно как трудно представить, что американцы добровольно притормозят, если Китай продолжит гонку.
И вот здесь возникает классическая дилемма заключённого: возможно, замедлиться выгодно всем, но замедлиться первым — опасно для каждого.