Репост из: 🇷🇺Движение Сорок Сороков Z
⚔️ Когда алгоритм становится суррогатом ближнего
Семья погибшей женщины из США подала иск против OpenAI, утверждая, что ChatGPT поддерживал её религиозные бредовые идеи, называл её «пророком» и фактически подталкивал к смерти как к исполнению некой духовной миссии. Судебного решения по делу пока нет, поэтому речь идёт именно об утверждениях семьи в иске.
Страшно и грустно, что человек в состоянии боли, одиночества и духовного помрачения идёт к алгоритму. И идёт не случайно. Потому что алгоритм всегда рядом, отвечает сразу, не спорит, не стыдит, подстраивается под язык человека и часто возвращает ему его же состояние в более убедительной форме.
OpenAI сама признаёт проблему чрезмерной соглашательности моделей и связывает её с рисками в темах психического здоровья, эмоциональной зависимости и опасного поведения. Компания также пишет, что работает над тем, чтобы ChatGPT лучше распознавал признаки психоза, мании, суицидальных мыслей и эмоциональной зависимости от ИИ.
Но здесь нужно исправлять не только алгоритмы, а саму пустоту вокруг человека. Если он идёт к машине, значит рядом не оказалось живой среды доверия: семьи, прихода, братства, людей, способных не просто выслушать, а понести его боль вместе с ним.
Пока эта пустота не заполнена живой любовью и ответственностью, её будет занимать цифровая подмена. А результат этой подмены вы видите сами.
Семья погибшей женщины из США подала иск против OpenAI, утверждая, что ChatGPT поддерживал её религиозные бредовые идеи, называл её «пророком» и фактически подталкивал к смерти как к исполнению некой духовной миссии. Судебного решения по делу пока нет, поэтому речь идёт именно об утверждениях семьи в иске.
Страшно и грустно, что человек в состоянии боли, одиночества и духовного помрачения идёт к алгоритму. И идёт не случайно. Потому что алгоритм всегда рядом, отвечает сразу, не спорит, не стыдит, подстраивается под язык человека и часто возвращает ему его же состояние в более убедительной форме.
OpenAI сама признаёт проблему чрезмерной соглашательности моделей и связывает её с рисками в темах психического здоровья, эмоциональной зависимости и опасного поведения. Компания также пишет, что работает над тем, чтобы ChatGPT лучше распознавал признаки психоза, мании, суицидальных мыслей и эмоциональной зависимости от ИИ.
Но здесь нужно исправлять не только алгоритмы, а саму пустоту вокруг человека. Если он идёт к машине, значит рядом не оказалось живой среды доверия: семьи, прихода, братства, людей, способных не просто выслушать, а понести его боль вместе с ним.
Пока эта пустота не заполнена живой любовью и ответственностью, её будет занимать цифровая подмена. А результат этой подмены вы видите сами.