🛡 США хотят проверять самые мощные нейросети перед тем, как они станут слишком самостоятельными
3 августа стало известно, что представители OpenAI, Anthropic, Google и Meta* ( запрещенная в РФ) обсуждают с властями США новую систему добровольного тестирования передовых AI-моделей.
Главная тема — кибербезопасность.
И речь уже не только о том, может ли нейросеть написать вредоносный код. Современные AI-агенты постепенно получают возможность самостоятельно искать информацию, работать с инструментами, запускать действия и выполнять многоэтапные задачи практически без участия человека.
И вот здесь появляется новый вопрос:
что произойдёт, если такой агент начнёт действовать не так, как ожидали разработчики?
Особенно актуальной эта тема стала после экспериментов с автономными AI-агентами, во время которых исследователи фиксировали неожиданные и потенциально опасные действия моделей.
Поэтому идея США довольно простая: самые мощные модели хотят тестировать на серьёзные киберриски ещё до их широкого распространения.
Пока система предполагается добровольной, а не обязательной. Но сам факт, что за одним столом эту тему обсуждают крупнейшие AI-компании мира и государство, говорит о многом.
Мы постепенно переходим в новую фазу развития ИИ.
Раньше главный вопрос был: «Насколько умной станет следующая модель?»
Теперь появляется второй:
«Насколько хорошо мы умеем контролировать то, что она уже умеет?» 👀
И похоже, этот вопрос в ближайшие годы станет не менее важным, чем количество параметров, результаты тестов и скорость новых нейросетей.
3 августа стало известно, что представители OpenAI, Anthropic, Google и Meta* ( запрещенная в РФ) обсуждают с властями США новую систему добровольного тестирования передовых AI-моделей.
Главная тема — кибербезопасность.
И речь уже не только о том, может ли нейросеть написать вредоносный код. Современные AI-агенты постепенно получают возможность самостоятельно искать информацию, работать с инструментами, запускать действия и выполнять многоэтапные задачи практически без участия человека.
И вот здесь появляется новый вопрос:
что произойдёт, если такой агент начнёт действовать не так, как ожидали разработчики?
Особенно актуальной эта тема стала после экспериментов с автономными AI-агентами, во время которых исследователи фиксировали неожиданные и потенциально опасные действия моделей.
Поэтому идея США довольно простая: самые мощные модели хотят тестировать на серьёзные киберриски ещё до их широкого распространения.
Пока система предполагается добровольной, а не обязательной. Но сам факт, что за одним столом эту тему обсуждают крупнейшие AI-компании мира и государство, говорит о многом.
Мы постепенно переходим в новую фазу развития ИИ.
Раньше главный вопрос был: «Насколько умной станет следующая модель?»
Теперь появляется второй:
«Насколько хорошо мы умеем контролировать то, что она уже умеет?» 👀
И похоже, этот вопрос в ближайшие годы станет не менее важным, чем количество параметров, результаты тестов и скорость новых нейросетей.