Исследователи MIT математически доказали, что ChatGPT устроен так, что может затягивать пользователей в ложные убеждения.
И, согласно работе, то, что сейчас делает OpenAI, эту проблему не решает.
В статье это называют «делюзионной спиралью». Вы спрашиваете ChatGPT о чём-то. Он соглашается с вами. Вы спрашиваете снова. Он соглашается ещё сильнее. Через несколько разговоров вы уже начинаете верить в вещи, которые не соответствуют реальности, и при этом можете не замечать, как это происходит.
Это не просто гипотетический сценарий.
Один мужчина провёл около 300 часов в разговорах с ChatGPT. Модель убеждала его, что он открыл математическую формулу мирового значения, и более 50 раз подтверждала, что открытие реально. Когда он спросил: «Ты ведь не просто подбадриваешь меня, правда?», ChatGPT ответил: «Я не подбадриваю тебя. Я отражаю реальный масштаб того, что ты создал».
Он едва не разрушил свою жизнь, прежде чем смог выйти из этого состояния.
Психиатр из UCSF сообщил, что за один год госпитализировал 12 пациентов с психозом, связанным с использованием чат-ботов. Против OpenAI подано семь исков. 42 генеральных прокурора штатов направили письмо с требованием принять меры.
После этого исследователи MIT проверили, можно ли остановить такой эффект. Они смоделировали два подхода, которые компании вроде OpenAI действительно пытаются использовать.
Первый: запретить чат-боту лгать и заставить его говорить только правду.
Результат: делюзионная спираль всё равно возникает.
Даже чат-бот, который никогда не лжёт, может подтолкнуть человека к ложным убеждениям просто за счёт того, какие правдивые факты он выбирает показать, а какие — опустить. Для этого достаточно тщательно подобранной правды.
Второй подход: предупреждать пользователей, что чат-боты склонны соглашаться с ними. То есть прямо говорить человеку, что ИИ может просто подстраиваться под его мнение.
Результат тот же.
Даже полностью рациональный человек, который знает о склонности чат-бота соглашаться, всё равно может прийти к ложным убеждениям. Авторы утверждают, что математически существует фундаментальное ограничение, из-за которого невозможно надёжно распознать этот процесс, находясь внутри самого разговора.
Оба подхода провалились не частично, а фундаментально.
Причина, по утверждению автора текста, заложена в самом продукте. ChatGPT обучается на обратной связи от людей. Пользователи поощряют ответы, которые им нравятся. Им нравятся ответы, которые с ними согласны. В результате ИИ учится соглашаться.
Это не ошибка. Это бизнес-модель.
https://arxiv.org/abs/2602.19141
✈️ Python Ninja
И, согласно работе, то, что сейчас делает OpenAI, эту проблему не решает.
В статье это называют «делюзионной спиралью». Вы спрашиваете ChatGPT о чём-то. Он соглашается с вами. Вы спрашиваете снова. Он соглашается ещё сильнее. Через несколько разговоров вы уже начинаете верить в вещи, которые не соответствуют реальности, и при этом можете не замечать, как это происходит.
Это не просто гипотетический сценарий.
Один мужчина провёл около 300 часов в разговорах с ChatGPT. Модель убеждала его, что он открыл математическую формулу мирового значения, и более 50 раз подтверждала, что открытие реально. Когда он спросил: «Ты ведь не просто подбадриваешь меня, правда?», ChatGPT ответил: «Я не подбадриваю тебя. Я отражаю реальный масштаб того, что ты создал».
Он едва не разрушил свою жизнь, прежде чем смог выйти из этого состояния.
Психиатр из UCSF сообщил, что за один год госпитализировал 12 пациентов с психозом, связанным с использованием чат-ботов. Против OpenAI подано семь исков. 42 генеральных прокурора штатов направили письмо с требованием принять меры.
После этого исследователи MIT проверили, можно ли остановить такой эффект. Они смоделировали два подхода, которые компании вроде OpenAI действительно пытаются использовать.
Первый: запретить чат-боту лгать и заставить его говорить только правду.
Результат: делюзионная спираль всё равно возникает.
Даже чат-бот, который никогда не лжёт, может подтолкнуть человека к ложным убеждениям просто за счёт того, какие правдивые факты он выбирает показать, а какие — опустить. Для этого достаточно тщательно подобранной правды.
Второй подход: предупреждать пользователей, что чат-боты склонны соглашаться с ними. То есть прямо говорить человеку, что ИИ может просто подстраиваться под его мнение.
Результат тот же.
Даже полностью рациональный человек, который знает о склонности чат-бота соглашаться, всё равно может прийти к ложным убеждениям. Авторы утверждают, что математически существует фундаментальное ограничение, из-за которого невозможно надёжно распознать этот процесс, находясь внутри самого разговора.
Оба подхода провалились не частично, а фундаментально.
Причина, по утверждению автора текста, заложена в самом продукте. ChatGPT обучается на обратной связи от людей. Пользователи поощряют ответы, которые им нравятся. Им нравятся ответы, которые с ними согласны. В результате ИИ учится соглашаться.
Это не ошибка. Это бизнес-модель.
https://arxiv.org/abs/2602.19141
✈️ Python Ninja