Anthropic выяснили, чем дольше ИИ-модель думает над сложной задачей, тем её ошибки становятся всё более непредсказуемыми.
В своей новой работе Anthropic и EPFL исследователи измерили, как именно ошибаются LLM.
Проверяли на разных задачах:
- тесты со множественным выбором,
- агентное программирование,
- оценки безопасности ИИ.
Паттерн везде одинаковый,
чем дольше модель думает, тем более непредсказуемыми становятся её ответы.
Та же модель на тот же вопрос может дать совершенно разные ответы при повторных запросах - не потому что преследует скрытую цель, а потому что внутренне нестабильна.
Ещё один неожиданный вывод - более крупные модели не всегда надёжнее. Авторы проверили это на семействе Qwen3 (от 1.7млрд до 32млрд параметров). На простых задачах масштаб помогает модели становятся стабильнее. На сложных задачах наоборот, крупные модели становятся ещё более хаотичными.
Отдельный эксперимент показал почему, модели быстро учатся понимать правильную цель, но гораздо медленнее учатся стабильно её достигать.
Практический вывод - не полагайтесь на единичные ответы моделей рассуждений для критических решений.
Ансамблирование, верификация, человеческий контроль - необходимость.
В своей новой работе Anthropic и EPFL исследователи измерили, как именно ошибаются LLM.
Проверяли на разных задачах:
- тесты со множественным выбором,
- агентное программирование,
- оценки безопасности ИИ.
Паттерн везде одинаковый,
чем дольше модель думает, тем более непредсказуемыми становятся её ответы.
Та же модель на тот же вопрос может дать совершенно разные ответы при повторных запросах - не потому что преследует скрытую цель, а потому что внутренне нестабильна.
Ещё один неожиданный вывод - более крупные модели не всегда надёжнее. Авторы проверили это на семействе Qwen3 (от 1.7млрд до 32млрд параметров). На простых задачах масштаб помогает модели становятся стабильнее. На сложных задачах наоборот, крупные модели становятся ещё более хаотичными.
Отдельный эксперимент показал почему, модели быстро учатся понимать правильную цель, но гораздо медленнее учатся стабильно её достигать.
Практический вывод - не полагайтесь на единичные ответы моделей рассуждений для критических решений.
Ансамблирование, верификация, человеческий контроль - необходимость.