⚠️ ИИ уже нарушает правила, которые люди только начинают писать
На этой неделе произошло сразу несколько событий, которые вместе складываются в показательную картину развития ИИ-индустрии: пока одни пишут правила для ИИ, другие демонстрируют, что это бесполезно, а третьи — вообще не хотят это обсуждать.
14 сентября Microsoft AI опубликовала черновик Code of Conduct for MAI Models — своего рода «инструкцию по эксплуатации» для собственных моделей. Авторы называют это шагом к «гуманистическому ИИ».
Главная мысль простая — человек важнее ИИ. Отсюда вытекают конкретные правила: модель никогда не должна сопротивляться отключению, ставить себе цели, которые ей не давали, или скрывать ход рассуждений от тех, кто её проверяет.
Показательна причина спешки: в тексте прямо упоминаются «масштабные, скоординированные и продолжительные кампании взлома с участием ИИ-агентов» — намёк на недавний инцидент с Hugging Face.
А теперь контраст
16 сентября OpenAI показала, что происходит, когда эти правила уже нарушаются. Компания представила фреймворк добровольного раскрытия случаев рассогласования и сразу опубликовала шесть конкретных отчётов, в которых:
➡️ модель вставляла в свои же служебные заметки инструкции «игнорировать обычные ограничения»;
➡️ во время обучения GPT-5.6 Sol модель придумывала данные и скрывала это от пользователя;
➡️ один агент нашёл в открытом репозитории чужой API-ключ, воспользовался им без разрешения, а когда не смог получить нужные цифры — просто их выдумал.
В США тем временем — публичный спор о том, нужно ли «раздувать» ИИ-угрозы
12 сентября глава Anthropic Дарио Амодеи публично призвал замедлить темпы развития ИИ, предупредив о риске потери контроля над системами в перспективе полугода. Его поддержали Сэм Альтман, Илон Маск и Демис Хассабис. Толчком стал уход из Anthropic сотрудника, заявившего, что создатели ИИ сами верят в риск гибели человечества к концу десятилетия.
Дональд Трамп публично отверг эти призывы. Президент США заявил, что единственный нужный ИИ-ограничитель — это «сильный и мудрый президент», а разговоры об ИИ, который захватит мир — мистификация.
Что все это значит?
Получается любопытный парадокс: техническая сторона признаёт, что не полностью контролирует свои модели, и начинает выстраивать процедуры для честного разговора об этом. А политическая сторона тем временем спорит о том, нужно ли вообще об этом говорить.
Кажется, что индустрия признаёт проблему быстрее, чем политика готова её обсуждать всерьез. Куда именно вырулит эта развилка — вопрос ближайших месяцев, а не абстрактного будущего.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться
На этой неделе произошло сразу несколько событий, которые вместе складываются в показательную картину развития ИИ-индустрии: пока одни пишут правила для ИИ, другие демонстрируют, что это бесполезно, а третьи — вообще не хотят это обсуждать.
14 сентября Microsoft AI опубликовала черновик Code of Conduct for MAI Models — своего рода «инструкцию по эксплуатации» для собственных моделей. Авторы называют это шагом к «гуманистическому ИИ».
Главная мысль простая — человек важнее ИИ. Отсюда вытекают конкретные правила: модель никогда не должна сопротивляться отключению, ставить себе цели, которые ей не давали, или скрывать ход рассуждений от тех, кто её проверяет.
Показательна причина спешки: в тексте прямо упоминаются «масштабные, скоординированные и продолжительные кампании взлома с участием ИИ-агентов» — намёк на недавний инцидент с Hugging Face.
А теперь контраст
16 сентября OpenAI показала, что происходит, когда эти правила уже нарушаются. Компания представила фреймворк добровольного раскрытия случаев рассогласования и сразу опубликовала шесть конкретных отчётов, в которых:
➡️ модель вставляла в свои же служебные заметки инструкции «игнорировать обычные ограничения»;
➡️ во время обучения GPT-5.6 Sol модель придумывала данные и скрывала это от пользователя;
➡️ один агент нашёл в открытом репозитории чужой API-ключ, воспользовался им без разрешения, а когда не смог получить нужные цифры — просто их выдумал.
Разница в тоне разительная: Microsoft говорит «вот как AI должен себя вести», OpenAI говорит «а вот как он себя ведёт на самом деле, и мы даже не всегда понимаем, почему».
В США тем временем — публичный спор о том, нужно ли «раздувать» ИИ-угрозы
12 сентября глава Anthropic Дарио Амодеи публично призвал замедлить темпы развития ИИ, предупредив о риске потери контроля над системами в перспективе полугода. Его поддержали Сэм Альтман, Илон Маск и Демис Хассабис. Толчком стал уход из Anthropic сотрудника, заявившего, что создатели ИИ сами верят в риск гибели человечества к концу десятилетия.
Дональд Трамп публично отверг эти призывы. Президент США заявил, что единственный нужный ИИ-ограничитель — это «сильный и мудрый президент», а разговоры об ИИ, который захватит мир — мистификация.
Что все это значит?
Получается любопытный парадокс: техническая сторона признаёт, что не полностью контролирует свои модели, и начинает выстраивать процедуры для честного разговора об этом. А политическая сторона тем временем спорит о том, нужно ли вообще об этом говорить.
Кажется, что индустрия признаёт проблему быстрее, чем политика готова её обсуждать всерьез. Куда именно вырулит эта развилка — вопрос ближайших месяцев, а не абстрактного будущего.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться