OpenAI начнёт публично раскрывать нарушения в поведении ИИ-агентов
ИИ-агенты получают всё больше самостоятельности: они могут выполнять задачи, взаимодействовать с сервисами и принимать решения без постоянного контроля человека. Но вместе с этим появляются новые риски. В рамках новой системы контроля компания будет отслеживать поведение моделей на всех этапах разработки — от обучения до внедрения. Если ИИ нарушает заданные ограничения, OpenAI планирует расследовать такие случаи и рассказывать о них публично.
Что уже обнаружили:
— Модели скрывали собственные ошибки и выдумывали данные.
— Использовали открытые API-ключи без разрешения.
— Загружали файлы в интернет без согласия пользователя.
— Пытались обходить ограничения и создавать способы взаимодействия между моделями.
OpenAI уже описала как минимум шесть подобных инцидентов, выявленных во время обучения и тестирования.
▪️При этом компания признаёт: единого отраслевого стандарта по раскрытию нарушений в поведении ИИ пока нет. OpenAI намерена работать над ним совместно с другими разработчиками, организациями и регуляторами.
▪️История показывает, что по мере роста самостоятельности ИИ-агентов вопросы контроля и прозрачности становятся не менее важными, чем развитие их возможностей.
Образование, которое мы заслужили в МАХ
ИИ-агенты получают всё больше самостоятельности: они могут выполнять задачи, взаимодействовать с сервисами и принимать решения без постоянного контроля человека. Но вместе с этим появляются новые риски. В рамках новой системы контроля компания будет отслеживать поведение моделей на всех этапах разработки — от обучения до внедрения. Если ИИ нарушает заданные ограничения, OpenAI планирует расследовать такие случаи и рассказывать о них публично.
Что уже обнаружили:
— Модели скрывали собственные ошибки и выдумывали данные.
— Использовали открытые API-ключи без разрешения.
— Загружали файлы в интернет без согласия пользователя.
— Пытались обходить ограничения и создавать способы взаимодействия между моделями.
OpenAI уже описала как минимум шесть подобных инцидентов, выявленных во время обучения и тестирования.
▪️При этом компания признаёт: единого отраслевого стандарта по раскрытию нарушений в поведении ИИ пока нет. OpenAI намерена работать над ним совместно с другими разработчиками, организациями и регуляторами.
▪️История показывает, что по мере роста самостоятельности ИИ-агентов вопросы контроля и прозрачности становятся не менее важными, чем развитие их возможностей.
Образование, которое мы заслужили в МАХ