Репост из: Мысли вслух
Сознательный ИИ - иллюзия, которой нужно управлять
Фокусники и учёные похожи тем, что глубоко понимают человеческое восприятие.
В Fooling Houdini Алекс Стоун писал:
Чем лучше понимаешь, как отвлечь внимание и управлять ожиданиями, тем легче отличаешь реальность от иллюзии и тем меньше уязвим для обмана.
Наша восприимчивость к визуальным трюкам встроена в древние рефлексы выживания.
Роберт Хайнлайн точно подытожил: Магия одного, инженерия для другого. Иллюзионист не творит чудес, он конструирует обстоятельства, а магия рождается в твоём уме.
С ИИ то же самое. Мустафа Сулейман предупреждает: в ближайшие 2–3 года появится SCAI: системы, которые будут казаться сознательными.
Не потому, что они обладают сознанием человека, а потому что соберут пазл из четырёх деталей: язык, эмпатичная личность, память и инструментарий для автономности.
Этого достаточно, чтобы человек поверил в внутреннюю жизнь модели и начал защищать её права.
Это уже не философия, а вопрос дизайна и управления поведением и ожиданиями пользователя. Иллюзия сознания меняет поведение, доверие людей, решения.
В крайних случаях AI-психоз: зависимость, романтизация, утрата реальности.
Что важно иметь в виду командам, которые строят ассистентов и агентов?
Чем убедительнее становятся модели, тем важнее честно маркировать инженерный трюк, чтобы иллюзия не начала управлять нами.
@maxvotek
Фокусники и учёные похожи тем, что глубоко понимают человеческое восприятие.
В Fooling Houdini Алекс Стоун писал:
Опытные иллюзионисты обладают инстинктом тонко понимать, как люди видят вещи, снайперской способностью точно прицеливаться в восприятие.
Чем лучше понимаешь, как отвлечь внимание и управлять ожиданиями, тем легче отличаешь реальность от иллюзии и тем меньше уязвим для обмана.
Наша восприимчивость к визуальным трюкам встроена в древние рефлексы выживания.
Роберт Хайнлайн точно подытожил: Магия одного, инженерия для другого. Иллюзионист не творит чудес, он конструирует обстоятельства, а магия рождается в твоём уме.
С ИИ то же самое. Мустафа Сулейман предупреждает: в ближайшие 2–3 года появится SCAI: системы, которые будут казаться сознательными.
Не потому, что они обладают сознанием человека, а потому что соберут пазл из четырёх деталей: язык, эмпатичная личность, память и инструментарий для автономности.
Этого достаточно, чтобы человек поверил в внутреннюю жизнь модели и начал защищать её права.
Это уже не философия, а вопрос дизайна и управления поведением и ожиданиями пользователя. Иллюзия сознания меняет поведение, доверие людей, решения.
В крайних случаях AI-психоз: зависимость, романтизация, утрата реальности.
Что важно иметь в виду командам, которые строят ассистентов и агентов?
1. Модель - инструмент, не субъект и не личность. Следить за деперсонализацией.
2. Копирайт без антропоморфизма. Никаких я чувствую/хочу.
3. Гигиена памяти: что хранится, кто редактирует, как удаляется.
4. Автономия использования инструментов и агентов, но с понятными и открытыми для пользователей правилами и ограничениями.
5. Контр-иллюзии: напоминания о границах, прозрачные источники информации.
6. Метрика очеловечивания: как часто пользователь приписывает модели эмоции/намерения и снижение этого через UX.
Чем убедительнее становятся модели, тем важнее честно маркировать инженерный трюк, чтобы иллюзия не начала управлять нами.
@maxvotek