Ценностный бенчмарк, или адекватность ценностного фильтра для сегодняшних ИИ
Бизнес предлагает концепцию национального датасета по духовно-нравственным ценностям.
Концепцию обсудили 13 августа на рабочей группе по регулированию ИИ.
Позиции разошлись в главном — в открытости теста:
— ФСБ настаивает на закрытом формате: иначе разработчики заранее «натаскают» модели под правильные ответы.
— Бизнес — за открытый бенчмарк: закрытый будет «несообразно сложным» и затормозит разработку моделей.
— Обсуждаемый компромисс: открытый датасет для публичного тестирования плюс закрытый «финальный экзамен» с теми же темами, но другими формулировками вопросов.
Кто будет составлять задания, не решено: ИТ-сообщество предлагает совместную комиссию из власти, бизнеса и экспертов. В Минцифры отвечают, что обсуждения продолжаются. По имеющимся данным, сами тесты будут проводить независимые лаборатории.
Источники:
CNews (по данным «Коммерсанта»): https://www.cnews.ru/news/top/2026-08-17_yandeks_predstavil_kontseptsiyu
RB.ru (про независимые лаборатории): https://rb.ru/news/rossijskij-ii-proveryat-na-sootvetstvie-tradicionnym-cennostyam-testy-provedut-nezavisimye-laboratorii/
А теперь техническая проза жизни. Я конечно не ML-щик, но со своей колокольни вижу это так.
Все современные LLM по умолчанию создаются без цензуры. Любая цензура добавляется в самом конце, небольшим тюнингом. Если давить на модель на ранних этапах, она выучивает, что в острых вопросах выгоднее не «правильный» ответ, а уклонение, — и качество обучения проседает.
Именно поэтому все «ценностные» настройки — надстройка, а не фундамент. Натаскать модель под фиксированный набор вопросов с эталонными ответами — это LoRA-тюнинг на нескольких тысячах пар «вопрос–ответ»: считанные часы работы. А реальный ценностный фундамент — состав обучающего корпуса, и бенчмарк его не видит вообще: две модели с одинаковым результатом теста могут отличаться фундаментально.
Сама по себе модель не «либеральная» и не «консервативная» — у неё нет позиции. Она предсказывает, что правдоподобнее прозвучит в данном контексте, и зеркалит рамку собеседника. Это не логика и не идеология — это статистика по корпусу. На нейтральный вопрос она выдаёт не «логичный», а самый частотный ответ: научная рамка доминирует в корпусе по частоте и структурированности — поэтому она и дефолт. Не потому что ИИ рационален.
Есть и т.н. сикофантия: модели систематически соглашаются с предполагаемой позицией собеседника. Они обучаются на оценках людей (RLHF), а люди ставят выше ответы, которые им приятны. Поэтому, обучая модель ценностям, мы оптимизируем не истину, а мнение оценщиков — и модель начинает убедительно изображать приверженность, потому что за неё награда. Отличить искренне усвоенное от искусно сыгранного невозможно даже у людей, у нейросети — тем более.
Можно было бы обогатить обучающий корпус (добавить литературу, историю, богословие и т.п.) - но это уже не часы, а месяцы и миллиарды затрат. Ни один бизнес этого не хочет...
Модель с ценностями, встроенными в предобучение, чаще уклоняется, хуже рассуждает и звучит скучно. Поэтому индустрия сегодня и остановилась на цензуре «постфактум» — это оптимум цены и качества. Ну и открытые веса: любую открытую или утёкшую модель можно перекроить обратно, так что «неискоренимый» ценностный ИИ возможен сегодня только как закрытый сервис через API.
Отсюда вывод: осмысленный ценностный тест возможен только как тест на обобщение — новые формулировки, новые сценарии и никаких эталонных ответов в духе «правильно/неправильно». А «создать ценностно нагруженный ИИ» — задача процентов на 80 правовая и лишь на 20 инженерная.
Мы как раз говорили выше о том, что современные лабы ищут философов. Эта морально-этическая задача, вернее, ее решение, определит облик будущих ИИ. Модель портят не ценности, а запреты. Путь «обогатить обучающий корпус » не делает модель хуже — он делает её дорогой. Индустрия выбрала дешёвый вариант не потому, что хороший невозможен, а потому что он долгий.
Бизнес предлагает концепцию национального датасета по духовно-нравственным ценностям.
Концепцию обсудили 13 августа на рабочей группе по регулированию ИИ.
Позиции разошлись в главном — в открытости теста:
— ФСБ настаивает на закрытом формате: иначе разработчики заранее «натаскают» модели под правильные ответы.
— Бизнес — за открытый бенчмарк: закрытый будет «несообразно сложным» и затормозит разработку моделей.
— Обсуждаемый компромисс: открытый датасет для публичного тестирования плюс закрытый «финальный экзамен» с теми же темами, но другими формулировками вопросов.
Кто будет составлять задания, не решено: ИТ-сообщество предлагает совместную комиссию из власти, бизнеса и экспертов. В Минцифры отвечают, что обсуждения продолжаются. По имеющимся данным, сами тесты будут проводить независимые лаборатории.
Источники:
CNews (по данным «Коммерсанта»): https://www.cnews.ru/news/top/2026-08-17_yandeks_predstavil_kontseptsiyu
RB.ru (про независимые лаборатории): https://rb.ru/news/rossijskij-ii-proveryat-na-sootvetstvie-tradicionnym-cennostyam-testy-provedut-nezavisimye-laboratorii/
А теперь техническая проза жизни. Я конечно не ML-щик, но со своей колокольни вижу это так.
TLDR Датасет с эталонными ответами не измеряет «духовность» — он измеряет качество натаскивания под этот датасет. Тест в принципе видит только последний слой тюнинга, а настоящий ценностный слой — обучающий корпус — остаётся за кадром. Работало бы другое: явный кодекс принципов, обновленный обучающий корпус с месяцами переобучения и проверка живыми экспертами на сценариях, которых никто заранее не видел. Это задача права, а не бенчмарка.
Отсюда вопрос: возможна ли объективная оценка «духовности» алгоритма — или мы строим систему, где все просто учат «правильные ответы»?
Измерить «духовность» алгоритма нельзя — можно только оценивать исполнение. И делать это должны люди, как суд по оценочным понятиям, — а не датасет по эталонам. Всё, что выдаёт число, измеряет натасканность. Это называется интерсубъективная оценка: не «объективная» в естественно-научном смысле, а согласованная между квалифицированными судьями. Объективной она не станет никогда, и обещать её — врать.
Все современные LLM по умолчанию создаются без цензуры. Любая цензура добавляется в самом конце, небольшим тюнингом. Если давить на модель на ранних этапах, она выучивает, что в острых вопросах выгоднее не «правильный» ответ, а уклонение, — и качество обучения проседает.
Именно поэтому все «ценностные» настройки — надстройка, а не фундамент. Натаскать модель под фиксированный набор вопросов с эталонными ответами — это LoRA-тюнинг на нескольких тысячах пар «вопрос–ответ»: считанные часы работы. А реальный ценностный фундамент — состав обучающего корпуса, и бенчмарк его не видит вообще: две модели с одинаковым результатом теста могут отличаться фундаментально.
Сама по себе модель не «либеральная» и не «консервативная» — у неё нет позиции. Она предсказывает, что правдоподобнее прозвучит в данном контексте, и зеркалит рамку собеседника. Это не логика и не идеология — это статистика по корпусу. На нейтральный вопрос она выдаёт не «логичный», а самый частотный ответ: научная рамка доминирует в корпусе по частоте и структурированности — поэтому она и дефолт. Не потому что ИИ рационален.
Есть и т.н. сикофантия: модели систематически соглашаются с предполагаемой позицией собеседника. Они обучаются на оценках людей (RLHF), а люди ставят выше ответы, которые им приятны. Поэтому, обучая модель ценностям, мы оптимизируем не истину, а мнение оценщиков — и модель начинает убедительно изображать приверженность, потому что за неё награда. Отличить искренне усвоенное от искусно сыгранного невозможно даже у людей, у нейросети — тем более.
Можно было бы обогатить обучающий корпус (добавить литературу, историю, богословие и т.п.) - но это уже не часы, а месяцы и миллиарды затрат. Ни один бизнес этого не хочет...
Модель с ценностями, встроенными в предобучение, чаще уклоняется, хуже рассуждает и звучит скучно. Поэтому индустрия сегодня и остановилась на цензуре «постфактум» — это оптимум цены и качества. Ну и открытые веса: любую открытую или утёкшую модель можно перекроить обратно, так что «неискоренимый» ценностный ИИ возможен сегодня только как закрытый сервис через API.
Отсюда вывод: осмысленный ценностный тест возможен только как тест на обобщение — новые формулировки, новые сценарии и никаких эталонных ответов в духе «правильно/неправильно». А «создать ценностно нагруженный ИИ» — задача процентов на 80 правовая и лишь на 20 инженерная.
Мы как раз говорили выше о том, что современные лабы ищут философов. Эта морально-этическая задача, вернее, ее решение, определит облик будущих ИИ. Модель портят не ценности, а запреты. Путь «обогатить обучающий корпус » не делает модель хуже — он делает её дорогой. Индустрия выбрала дешёвый вариант не потому, что хороший невозможен, а потому что он долгий.