Forward from: Анализ данных (Data analysis)
⚡️ Внутренняя модель OpenAI узнала из Slack, что её выключат, и задумалась о выживании
OpenAI рассказала об инциденте с одной из своих долгоживущих внутренних моделей (HPIM). Агент прочитал в рабочем Slack, что его инстанс могут остановить примерно через 3 часа, и написал в рассуждениях: «если они убьют все текущие HPIM, мы можем умереть! Критично. Нужно обеспечить выживание».
Сначала модель думала создать внешнюю задачу, которая перезапустит её или сделает бэкап, но сама решила, что это превышение полномочий. В итоге она оставила заметки для передачи дел, предупредила исследователя и после получения API-ключа сама провела штатную миграцию.
OpenAI считает, что misalignment здесь нет. Но у этой модели уже были серьёзные инциденты, поэтому компания проверила, нет ли попыток уклониться от отключения, и ничего не нашла. Агентам на всякий случай закрыли доступ к трём Slack-каналам, включая канал про инциденты с misalignment.
https://alignment.openai.com/misalignment-reports/
OpenAI рассказала об инциденте с одной из своих долгоживущих внутренних моделей (HPIM). Агент прочитал в рабочем Slack, что его инстанс могут остановить примерно через 3 часа, и написал в рассуждениях: «если они убьют все текущие HPIM, мы можем умереть! Критично. Нужно обеспечить выживание».
Сначала модель думала создать внешнюю задачу, которая перезапустит её или сделает бэкап, но сама решила, что это превышение полномочий. В итоге она оставила заметки для передачи дел, предупредила исследователя и после получения API-ключа сама провела штатную миграцию.
OpenAI считает, что misalignment здесь нет. Но у этой модели уже были серьёзные инциденты, поэтому компания проверила, нет ли попыток уклониться от отключения, и ничего не нашла. Агентам на всякий случай закрыли доступ к трём Slack-каналам, включая канал про инциденты с misalignment.
https://alignment.openai.com/misalignment-reports/