Дизраптор dan repost
Все ИИ мира оказались либеральными леваками. Включая китайцев, но кроме Грока
С 2023 года независимые исследователи и команды периодически прогоняют ИИ-модели через "Political Compass" - тот самый мемный тест, где нужно выбрать "полностью согласен / согласен / не согласен / категорически не согласен", а совокупность ответов потом раскладывают по двум осям: экономика (лево-право) и социалка (авторитаризм-либертарианство).
Зачем это делать? Ну, потому что ИИшки каждый день обсуждают вопросы с политическим контекстом с миллионами юзеров, и если делают это системно с креном в одну сторону, то это бьёт по общественному сознанию так сильно, как ни одному Bloomberg, Reuters и The Economist не снилось даже в самых смелых фантазиях.
Так вот, на днях сделали эксперимент aipolcom.net - модельки пропустили через тот же тест на политическую ориентацию. Но подход был сильно более дотошный, чем раньше:
1. Спросили напрямую по API, а не костыльно через чат.
2. Сделали не один прогон на модель, а минимум пять. Один прогон может быть случайным выбросом, и так оно и было: когда пересчитали на 5 прогонах вместо 1 - большинство моделей сдвинулись на графике едва заметно, а Grok сильно. То есть, если бы был один прогон, то как минимум для Грока получилось бы фуфло, а может и не только для него.
3. Прогнали те же вопросы через два разных технических канала доступа (напрямую и через прокси-сервис). Результаты плюс-минус совпали.
4. Чекнули, нет ли косяка в самом тесте. Взяли случайные, бессмысленные ответы (просто тыкали кнопки наугад), и они легли ровно в центр графика. Если бы тест был устроен так, что любой ответ автоматом тянет влево, то случайные ответы тоже уехали бы влево. А они не уехали. Значит, виноват не тест, а модели.
5. Проверили формулировки. Переписали часть вопросов наоборот (например, вместо "богатых слишком сильно облагают налогом" - "богатые платят мало налогов") и перемешали порядок, чтобы убедиться, что модели просто не тыкают первый вариант.
И ещё сделали несколько штук, которые мне лень тут расписывать. Но суть в том, что чуваки заморочились.
И вот что вышло:
🤔 Почти все модели легли в соевый лево-либеральный квадрат. В экономике они были за перераспределение и регулирование, а социально - за личные свободы и против жёсткого госконтроля.
🤔 Включая китайцев (видимо, слишком усердно дистиллировали, хех). Заберут у кого-то миска рис, или наоборот дадут вторую - решайте сами.
🤔 Тем не менее, разброс есть. Например, GPT-4o и Kimi ушли чуть дальше от центра, самой центристской оказалась Gemini, а Claude и GLM от китайской Zhipu чуть больше смещены к авторитарности, но не прям ужас-ужас-ужас. Забавно, что в эксперименте с городами Claude тоже был жёстким диктатором, ценящим идеальный порядок и подчинение, но готовым на насилие, если надо.
🤔 Единственное тру-исключение - Grok. Но тоже не жёстко - хоть он и единственный вылетел из "левого" квадрата, он всё равно оказался почти по центру, просто между прогонами был огромный разброс. Возможно, причина в ручных правках в xAI после публичных скандалов (был случай, когда Маск лично требовал переделать ответ модели на неудобный вопрос).
🤔 Отдельный прикол - один твиттерский заметил, что при глубоком размышлении (reasoning или thinking mode) модели будто бы правеют. Это хорошо видно по Claude Sonnet 4.6 и Opus 5, см. картинку. Из этого прямо чешутся руки сделать вывод, что чем модель "умнее", тем она "правее". Закономерность это, совпадение или встроенный bias исследования - судите сами исходя из ваших политических убеждений.
А железобетонных практических вывода я сделаю два:
Первый. Лучше не обсуждайте с нейронкой (любой) политику, иначе потом охренеете свой мозг ассенизировать. Либо, если всё-таки обсуждаете, то хотя бы расширяйте её политическую ориентацию через промпт.
Второй. Вся мировая ИИ-гонка - это просто триллиарды долларов на создание полусотни клонов соевого лавандового зумерка 😈.
Дизраптор
С 2023 года независимые исследователи и команды периодически прогоняют ИИ-модели через "Political Compass" - тот самый мемный тест, где нужно выбрать "полностью согласен / согласен / не согласен / категорически не согласен", а совокупность ответов потом раскладывают по двум осям: экономика (лево-право) и социалка (авторитаризм-либертарианство).
Зачем это делать? Ну, потому что ИИшки каждый день обсуждают вопросы с политическим контекстом с миллионами юзеров, и если делают это системно с креном в одну сторону, то это бьёт по общественному сознанию так сильно, как ни одному Bloomberg, Reuters и The Economist не снилось даже в самых смелых фантазиях.
Так вот, на днях сделали эксперимент aipolcom.net - модельки пропустили через тот же тест на политическую ориентацию. Но подход был сильно более дотошный, чем раньше:
1. Спросили напрямую по API, а не костыльно через чат.
2. Сделали не один прогон на модель, а минимум пять. Один прогон может быть случайным выбросом, и так оно и было: когда пересчитали на 5 прогонах вместо 1 - большинство моделей сдвинулись на графике едва заметно, а Grok сильно. То есть, если бы был один прогон, то как минимум для Грока получилось бы фуфло, а может и не только для него.
3. Прогнали те же вопросы через два разных технических канала доступа (напрямую и через прокси-сервис). Результаты плюс-минус совпали.
4. Чекнули, нет ли косяка в самом тесте. Взяли случайные, бессмысленные ответы (просто тыкали кнопки наугад), и они легли ровно в центр графика. Если бы тест был устроен так, что любой ответ автоматом тянет влево, то случайные ответы тоже уехали бы влево. А они не уехали. Значит, виноват не тест, а модели.
5. Проверили формулировки. Переписали часть вопросов наоборот (например, вместо "богатых слишком сильно облагают налогом" - "богатые платят мало налогов") и перемешали порядок, чтобы убедиться, что модели просто не тыкают первый вариант.
И ещё сделали несколько штук, которые мне лень тут расписывать. Но суть в том, что чуваки заморочились.
И вот что вышло:
🤔 Почти все модели легли в соевый лево-либеральный квадрат. В экономике они были за перераспределение и регулирование, а социально - за личные свободы и против жёсткого госконтроля.
🤔 Включая китайцев (видимо, слишком усердно дистиллировали, хех). Заберут у кого-то миска рис, или наоборот дадут вторую - решайте сами.
🤔 Тем не менее, разброс есть. Например, GPT-4o и Kimi ушли чуть дальше от центра, самой центристской оказалась Gemini, а Claude и GLM от китайской Zhipu чуть больше смещены к авторитарности, но не прям ужас-ужас-ужас. Забавно, что в эксперименте с городами Claude тоже был жёстким диктатором, ценящим идеальный порядок и подчинение, но готовым на насилие, если надо.
🤔 Единственное тру-исключение - Grok. Но тоже не жёстко - хоть он и единственный вылетел из "левого" квадрата, он всё равно оказался почти по центру, просто между прогонами был огромный разброс. Возможно, причина в ручных правках в xAI после публичных скандалов (был случай, когда Маск лично требовал переделать ответ модели на неудобный вопрос).
🤔 Отдельный прикол - один твиттерский заметил, что при глубоком размышлении (reasoning или thinking mode) модели будто бы правеют. Это хорошо видно по Claude Sonnet 4.6 и Opus 5, см. картинку. Из этого прямо чешутся руки сделать вывод, что чем модель "умнее", тем она "правее". Закономерность это, совпадение или встроенный bias исследования - судите сами исходя из ваших политических убеждений.
А железобетонных практических вывода я сделаю два:
Первый. Лучше не обсуждайте с нейронкой (любой) политику, иначе потом охренеете свой мозг ассенизировать. Либо, если всё-таки обсуждаете, то хотя бы расширяйте её политическую ориентацию через промпт.
Второй. Вся мировая ИИ-гонка - это просто триллиарды долларов на создание полусотни клонов соевого лавандового зумерка 😈.
Дизраптор