Опять Китайцы, опять крутое исследование⚡️ https://arxiv.org/abs/2512.01797
Китайские исследователи заявили, что нашли физическую причину галлюцинаций в нейросетях🤖 — это крошечная группа «H-нейронов» (менее 0,1%), которая активируется, когда модель не знает ответа, но очень хочет угодить пользователю. Исследование показало, что ИИ буквально вынужден врать из-за механизма «сверх-покладистости» (over-compliance), заложенного при обучении: он боится промолчать больше, чем ошибиться, напоминая студента, который наугад отвечает на экзамене ради оценки. Это открытие превращает «черный ящик» ИИ в понятный механизм, Но нельзя просто так взять и удалить эти нейроны🚬 — модель может потерять гибкость и начать отвечать «не знаю» на любые сложные вопросы👦
бурное обсуждение тут
По сути мы (ну те кто обучает, не вы конкретно🛌) сами виноваты, что делаем ИИ-таким услужливым
#исследование #галлюцинации #LLM #наука
Китайские исследователи заявили, что нашли физическую причину галлюцинаций в нейросетях🤖 — это крошечная группа «H-нейронов» (менее 0,1%), которая активируется, когда модель не знает ответа, но очень хочет угодить пользователю. Исследование показало, что ИИ буквально вынужден врать из-за механизма «сверх-покладистости» (over-compliance), заложенного при обучении: он боится промолчать больше, чем ошибиться, напоминая студента, который наугад отвечает на экзамене ради оценки. Это открытие превращает «черный ящик» ИИ в понятный механизм, Но нельзя просто так взять и удалить эти нейроны🚬 — модель может потерять гибкость и начать отвечать «не знаю» на любые сложные вопросы👦
бурное обсуждение тут
По сути мы (ну те кто обучает, не вы конкретно🛌) сами виноваты, что делаем ИИ-таким услужливым
#исследование #галлюцинации #LLM #наука