Anthropic представил свою «конституцию» ответственного ИИ
Anthropic - конкурент OpenAI, в который инвестировал Google, разрабатывающий большие языковые модели, представил «конституцию» для ответственного создания ИИ-алгоритмов.
Сегодня создание чат-ботов таких, как ChatGPT зависит от модераторов, которые оценивают выдачу по таким вещам, как разжигание ненависти/ токсичность. Затем система использует эти данные для настройки своих ответов. Этот процесс известен как «обучение с подкреплением на основе обратной связи с человеком» (RLHF).
Однако с «конституционным ИИ» эта работа в основном управляется самим чат-ботом, заявили разработчики Anthropic.
«Основная идея заключается в том, что вместо использования обратной связи от человека вы можете спросить языковую модель: «Какой ответ больше соответствует данному принципу?», — говорит соучредитель компании Джаред Каплан.
В таком случае алгоритм сам определит лучшую модель поведения и направит систему в «полезном, честном и безвредном» направлении.
В Anthropic сообщили, что применяли «конституцию» при разработке чат-бота Claude.
Кроме этого, документ содержит правила, предусматривающие экзистенциальные угрозы вроде уничтожения человечества вышедшим из-под контроля ИИ.
Anthropic - конкурент OpenAI, в который инвестировал Google, разрабатывающий большие языковые модели, представил «конституцию» для ответственного создания ИИ-алгоритмов.
Сегодня создание чат-ботов таких, как ChatGPT зависит от модераторов, которые оценивают выдачу по таким вещам, как разжигание ненависти/ токсичность. Затем система использует эти данные для настройки своих ответов. Этот процесс известен как «обучение с подкреплением на основе обратной связи с человеком» (RLHF).
Однако с «конституционным ИИ» эта работа в основном управляется самим чат-ботом, заявили разработчики Anthropic.
«Основная идея заключается в том, что вместо использования обратной связи от человека вы можете спросить языковую модель: «Какой ответ больше соответствует данному принципу?», — говорит соучредитель компании Джаред Каплан.
В таком случае алгоритм сам определит лучшую модель поведения и направит систему в «полезном, честном и безвредном» направлении.
В Anthropic сообщили, что применяли «конституцию» при разработке чат-бота Claude.
Кроме этого, документ содержит правила, предусматривающие экзистенциальные угрозы вроде уничтожения человечества вышедшим из-под контроля ИИ.