Не верь ИИ на слово

Чем увереннее нейросеть отвечает, тем проще принять ее слова за готовую истину. Но убедительная формулировка еще не означает, что вывод точный: на ответ влияют данные обучения, настройки модели, правила системы и даже то, как именно задан вопрос. Подробнее рассказал Data Scientist, главный программист центра искусственного интеллекта АО «ВНИИЖТ», Master of science Norges arktiske universitet(Norway, Tromso) Константин Дьячков.

Иногда проблема не в прямой ошибке, а в рамке. Если одна картина мира лучше представлена в данных или закреплена настройкой, ИИ может подавать ее как наиболее естественное объяснение происходящего.

Поэтому хороший промпт — уже часть информационной гигиены. Полезно просить модель приводить противоположные аргументы, отделять факты от интерпретаций, указывать источники и отмечать вопросы, по которым нет надежного консенсуса.

И главное — не считать просьбу «проверь себя» полноценной верификацией. ИИ лучше использовать не как последнюю инстанцию, а как инструмент для расширения гипотез. Особенно внимательно стоит проверять ответы, которые слишком хорошо совпадают с тем, во что вы и так верите.

#ИИ

💻 Подписаться на Говорят в IT