Психология выходит на 1-й план в развитии ИИ, об этом СЕО Anthropic
Дарио Амодей опубликовал новое эссе как продолжение своего более раннего текста. Если в том эссе он описывал утопическое будущее с мощным ИИ, то здесь он детально разбирает риски, которые нам предстоит преодолеть.
Он предлагает 3 принципа обсуждения рисков:
1. не относиться к ним квази-религиозно, не использовать язык научной фантастики, не призывать к экстремальным мерам без доказательств
2. Признавать неопределённость — никто не может предсказать будущее с уверенностью
3. Действовать хирургически точно — регулирование должно быть минимально необходимым, простым и без побочного ущерба.
Дарио говорит, что ИИ-модели психологически сложны, унаследовали множество «персон» от обучения на человеческих текстах. Проблемы могут возникать по самым странным причинам. Ровно от этом наш канал писал ещё в ноябре 2025, тут подробнее.
Решение Anthropic - формировать «личность» Claude через конституцию ценностей. Обучение на уровне характера и идентичности, а не списка запретов.
Это чистая психология. ИИ воспитывают как ребёнка.
А кто воспитатели?
Здесь вспоминается показание Ильи Суцкевера в суде, о котором мы писали в ноябре. На вопрос, кто должен управлять AGI, Илья ответил: «Человек, который будет управлять AGI, скорее всего будет очень хорош в играх власти».
Дарио подтверждает - триллионы $ создают систему, где контроль получают не самые зрелые, а самые искусные в политике. Он включает собственную компанию в список угроз — наравне с автократиями. Дарио, кстати, это понимает.
Наш тезис от ноября актуален как никогда - безопасный ИИ не возникнет только от решения технической проблемы выравнивания. Он начинается с психологически зрелых разработчиков этого ИИ, если нет зрелых разработчиков и менеджеров в процессе, то ИИ станет их зеркалом.
Дарио Амодей опубликовал новое эссе как продолжение своего более раннего текста. Если в том эссе он описывал утопическое будущее с мощным ИИ, то здесь он детально разбирает риски, которые нам предстоит преодолеть.
Он предлагает 3 принципа обсуждения рисков:
1. не относиться к ним квази-религиозно, не использовать язык научной фантастики, не призывать к экстремальным мерам без доказательств
2. Признавать неопределённость — никто не может предсказать будущее с уверенностью
3. Действовать хирургически точно — регулирование должно быть минимально необходимым, простым и без побочного ущерба.
Дарио говорит, что ИИ-модели психологически сложны, унаследовали множество «персон» от обучения на человеческих текстах. Проблемы могут возникать по самым странным причинам. Ровно от этом наш канал писал ещё в ноябре 2025, тут подробнее.
Решение Anthropic - формировать «личность» Claude через конституцию ценностей. Обучение на уровне характера и идентичности, а не списка запретов.
Это чистая психология. ИИ воспитывают как ребёнка.
А кто воспитатели?
Здесь вспоминается показание Ильи Суцкевера в суде, о котором мы писали в ноябре. На вопрос, кто должен управлять AGI, Илья ответил: «Человек, который будет управлять AGI, скорее всего будет очень хорош в играх власти».
Дарио подтверждает - триллионы $ создают систему, где контроль получают не самые зрелые, а самые искусные в политике. Он включает собственную компанию в список угроз — наравне с автократиями. Дарио, кстати, это понимает.
Наш тезис от ноября актуален как никогда - безопасный ИИ не возникнет только от решения технической проблемы выравнивания. Он начинается с психологически зрелых разработчиков этого ИИ, если нет зрелых разработчиков и менеджеров в процессе, то ИИ станет их зеркалом.