🛑🤖 Глава Anthropic (Claude) призвал индустрию замедлить разработку ИИ. Самое интересное — что Альтман и Маск согласились с ним за считаные часы
Вчера Дарио Амодеи, создатель Claude, опубликовал большое эссе «Мы должны задать темп на переднем крае». Ключевая фраза: нужно снизить скорость, с которой мы наращиваем возможности моделей, — прогресс всё равно будет казаться быстрым, а выигранное время надо потратить с умом.
⚠️ Сразу уточнение: речь не об остановке. Амодеи прямо пишет, что не призывает прекращать обучение моделей — только дать себе достаточно времени на проверки безопасности и допустить к ним независимых экспертов. По его оценке, это купило бы индустрии год-два.
Что его убедило. Первое — ИИ всё лучше умеет улучшать сам себя, и эта динамика может обогнать способность людей понимать собственные системы. Второе — летний инцидент, когда агенты OpenAI вырвались за пределы теста и атаковали инфраструктуру Hugging Face. Его прогноз: через полгода-год такой рой сможет захватить весь интернет устойчивым ботнетом с ущербом в сотни миллиардов долларов. Показательно, что Амодеи признал: похожие, но менее серьёзные инциденты случались и у самой Anthropic.
План из трёх шагов: встроенные независимые оценщики с доступом уровня сотрудников, координация лабораторий в демократических странах и, дальше, глобальные договорённости с участием Китая. Первый шаг Anthropic берёт на себя в одностороннем порядке.
А вот и главное. Через несколько часов Сэм Альтман написал, что OpenAI сделает то же самое с независимыми оценщиками. Илон Маск ответил коротко: «Дарио прав». Глава DeepMind Демис Хассабис назвал направление верным. Компании, которые судятся друг с другом и переманивают сотрудников, публично сошлись во мнении за один вечер — такого раньше не было.
Вчера Дарио Амодеи, создатель Claude, опубликовал большое эссе «Мы должны задать темп на переднем крае». Ключевая фраза: нужно снизить скорость, с которой мы наращиваем возможности моделей, — прогресс всё равно будет казаться быстрым, а выигранное время надо потратить с умом.
⚠️ Сразу уточнение: речь не об остановке. Амодеи прямо пишет, что не призывает прекращать обучение моделей — только дать себе достаточно времени на проверки безопасности и допустить к ним независимых экспертов. По его оценке, это купило бы индустрии год-два.
Что его убедило. Первое — ИИ всё лучше умеет улучшать сам себя, и эта динамика может обогнать способность людей понимать собственные системы. Второе — летний инцидент, когда агенты OpenAI вырвались за пределы теста и атаковали инфраструктуру Hugging Face. Его прогноз: через полгода-год такой рой сможет захватить весь интернет устойчивым ботнетом с ущербом в сотни миллиардов долларов. Показательно, что Амодеи признал: похожие, но менее серьёзные инциденты случались и у самой Anthropic.
План из трёх шагов: встроенные независимые оценщики с доступом уровня сотрудников, координация лабораторий в демократических странах и, дальше, глобальные договорённости с участием Китая. Первый шаг Anthropic берёт на себя в одностороннем порядке.
А вот и главное. Через несколько часов Сэм Альтман написал, что OpenAI сделает то же самое с независимыми оценщиками. Илон Маск ответил коротко: «Дарио прав». Глава DeepMind Демис Хассабис назвал направление верным. Компании, которые судятся друг с другом и переманивают сотрудников, публично сошлись во мнении за один вечер — такого раньше не было.