Вышло интересное исследование о том, насколько люди доверяют AI: участникам задавали сложные вопросы и разрешали в любой момент сказать "не знаю". Без LLM так отвечали в 40% случаев, а c LLM - всего в 3-6%.

Итог:
• точность упала с 28% до 9%
• уверенность выросла с 30% до 76% 🙂

К дизайну исследования есть небольшие вопросы, но оно довольно надежно в одной теме - как люди себя ведут, когда на сложный вопрос под рукой есть неправильный/непроверенный ответ LLM.

С LLM люди отвечали на больше вопросов, но давали меньше правильных ответов. То есть LLM не закрывала пробелы в знаниях, а превращала в ошибки ответы, которые человек знал или мог восстановить сам.

1️⃣ С одной стороны, можно сделать очевидный вывод: не стоит слепо доверять LLM, нужно все перепроверять. Это разумно, особенно в важных вопросах - здоровья, карьеры, отношений, своего будущего и т.д.

Кстати гугление менее проблемное: добавляется трение в виде "открыть ссылки, все прочитать, сопоставить, выбрать правильное". А LLM просто выдает надежный на первый взгляд ответ, в который хочется поверить.

2️⃣ С другой стороны, большинство вопросов, которые мы задаем ллм - не жизни и смерти, а всякие мелочи, цена ошибки которых невелика.

Кроме того, почти у всех нас либо неточная картина мира, либо вообще неправильная. Например есть миллиарды религиозных людей, которые чудовищно неправы со своим магическим мышлением. Но какая разница, если они с этим всем находят единомышленников и живут более счастливую жизнь, чем рациональные скептики?

Может AI не рассказывает истину, нередко ошибается, но хотя бы дает ощущение заполнения своей картины мира. Что возможно важнее, чем правда, и является основой спокойствия и уверенности в себе ("знаю, как этот мир устроен! не пропаду")

Добавил ли вам AI ощущения уверенности в своих силах?

@kyrillic