ИИ-слоп → ИИ-шок → ИИ-блок
Как защитные механизмы человеческой психики приводят к отторжению пользы от ИИ.
(Эта заметка косвенно пересекается с постами Евгения про мышление и серией статей Никиты про управление в современных реалиях)
–––
Активно используя LLM и для мышления, и для оформления результатов работы, я всё чаще сталкиваюсь с эффектом отторжения.
Отчасти виноват в этом, конечно, и я сам: та самая экстремальная социальная компетентность, которая, на мой взгляд, является непременным атрибутом продакта, у меня явно имеет слепые зоны.
Но эта заметка — не о них, а о более важном и масштабном явлении: как недоверие к LLM (и их неумелое использование) загоняют нас в ловушку посредственых результатов (и комфорта).
–––
Вот к какой модели мы вместе с LLM пришли, обсуждая мои наблюдения и идеи.
Начинается всё с ИИ-слопа (ИИ тут, конечно, ещё и не пахнет — этот термин, к сожалению, подвергся сильной инфляции).
Нормальная реакция на слоп — отторжение контента, недоверие к авторам, злость на попытки подмены им «настоящего».
Проблемы начинаются, когда вместо слопа «кентавр» из LLM и человека начинает производить действительно качественный контент.
В этот момент — зачастую ещё до настоящего когнитивного диссонанса — включаются защитные механизмы: от поверхностных «мне некогда читать весь этот шлак» и «этой сгенерированной ерунде нельзя доверять» до более глубоких, редко честно озвучиваемых:
...
Действительно, что?
–––
К сожалению, у оценки «ерунда» всё ещё очень часто есть основания.
LLM устроены так, чтобы (извините за капитанство, это действительно нужно для нарратива):
– максимизировать вероятность похожести на правду вместо точности;
– стремиться к консенсусу вместо фиксации противоречий;
– использовать общепризнанные точки зрения и широко распространённые подходы вместо новых идей и SOTA-практик;
– умалчивать (не специально!) предпосылки, нестыковки, недостаточность исходной информации;
– усиливать искажения оператора, повторять и закреплять его ошибки;
– стремиться к убедительности вместо честности — казаться, а не быть, — в том числе за счёт мнимой структурности (нумерованные списки!).
Но когда всё это преодолевается…
Шок от того, что сложная когнитивная работа теперь занимает на порядок меньше времени и при этом с помощью LLM человек может производить полезные артефакты, которые требуют дополнительных усилий от читателя, — всё ещё слишком силён.
Особенно для людей, не привыкших к серьёзным когнитивным усилиям при работе с текстом.
И это приводит к блокированию полезного сигнала.
Слоп, шок, блок.
И мы начинаем ещё сильнее ценить «человеческие шероховатости», отсутствие противоречий, умалчивание неприятных фактов или неизвестных переменных, стремление к консенсусу, принадлежность к группе…
Чувствуете, куда, парадоксальным образом, это нас ведёт? На что это становится похожим?
–––
Люди хотят чувствовать себя хорошо и быть лучше других, избегают сложности и придумывают истории, которые всё всегда объясняют в их пользу.
Неумелое использование ИИ усиливает этот эффект, ведь отказ от сложности сохраняет комфорт.
И от ИИ-галлюцинаций мы возвращаемся назад к родным человеческим иллюзиям.
Как защитные механизмы человеческой психики приводят к отторжению пользы от ИИ.
(Эта заметка косвенно пересекается с постами Евгения про мышление и серией статей Никиты про управление в современных реалиях)
–––
Активно используя LLM и для мышления, и для оформления результатов работы, я всё чаще сталкиваюсь с эффектом отторжения.
Отчасти виноват в этом, конечно, и я сам: та самая экстремальная социальная компетентность, которая, на мой взгляд, является непременным атрибутом продакта, у меня явно имеет слепые зоны.
Но эта заметка — не о них, а о более важном и масштабном явлении: как недоверие к LLM (и их неумелое использование) загоняют нас в ловушку посредственых результатов (и комфорта).
–––
Вот к какой модели мы вместе с LLM пришли, обсуждая мои наблюдения и идеи.
Начинается всё с ИИ-слопа (ИИ тут, конечно, ещё и не пахнет — этот термин, к сожалению, подвергся сильной инфляции).
Нормальная реакция на слоп — отторжение контента, недоверие к авторам, злость на попытки подмены им «настоящего».
Проблемы начинаются, когда вместо слопа «кентавр» из LLM и человека начинает производить действительно качественный контент.
В этот момент — зачастую ещё до настоящего когнитивного диссонанса — включаются защитные механизмы: от поверхностных «мне некогда читать весь этот шлак» и «этой сгенерированной ерунде нельзя доверять» до более глубоких, редко честно озвучиваемых:
Если вы вдруг окажетесь такими умными, как хотите казаться, то что тогда остаётся мне?
...
Действительно, что?
–––
К сожалению, у оценки «ерунда» всё ещё очень часто есть основания.
LLM устроены так, чтобы (извините за капитанство, это действительно нужно для нарратива):
– максимизировать вероятность похожести на правду вместо точности;
– стремиться к консенсусу вместо фиксации противоречий;
– использовать общепризнанные точки зрения и широко распространённые подходы вместо новых идей и SOTA-практик;
– умалчивать (не специально!) предпосылки, нестыковки, недостаточность исходной информации;
– усиливать искажения оператора, повторять и закреплять его ошибки;
– стремиться к убедительности вместо честности — казаться, а не быть, — в том числе за счёт мнимой структурности (нумерованные списки!).
Но когда всё это преодолевается…
Шок от того, что сложная когнитивная работа теперь занимает на порядок меньше времени и при этом с помощью LLM человек может производить полезные артефакты, которые требуют дополнительных усилий от читателя, — всё ещё слишком силён.
Особенно для людей, не привыкших к серьёзным когнитивным усилиям при работе с текстом.
И это приводит к блокированию полезного сигнала.
Слоп, шок, блок.
И мы начинаем ещё сильнее ценить «человеческие шероховатости», отсутствие противоречий, умалчивание неприятных фактов или неизвестных переменных, стремление к консенсусу, принадлежность к группе…
Чувствуете, куда, парадоксальным образом, это нас ведёт? На что это становится похожим?
–––
Люди хотят чувствовать себя хорошо и быть лучше других, избегают сложности и придумывают истории, которые всё всегда объясняют в их пользу.
Неумелое использование ИИ усиливает этот эффект, ведь отказ от сложности сохраняет комфорт.
И от ИИ-галлюцинаций мы возвращаемся назад к родным человеческим иллюзиям.