у врача люди требуют второе мнениеу нейросети почему-то даже первое принимают за консилиум«напиши коммерческое предложение» — кажется, самый популярный промпт в корпорациях
примерно как сказать архитектору «сделай красиво», а потом долго объяснять, что красиво получилось как-то не так
люди, которые получают от ИИ плохие ответы, обычно работают с ним одинаково:
пишут один длинный запрос
получают один длинный ответ
разочаровываются
или, что значительно опаснее, восхищаются
разочарованный человек хотя бы попробует ещё раз
восхищённый копирует ответ и отправляет директору
те, кто получает хорошие результаты, не пишут идеальный промпт
они разговаривают
сначала объясняют, кто они, для кого и зачем делают задачу
потом дают контекст
потом просят найти слабые места
потом спорят с ответом, уточняют и переделывают
то есть ведут себя с нейросетью примерно так же, как с живым специалистом, которому нельзя открыть дверь со словами «ну ты понял» и вернуться через час за стратегией компании
это не prompt engineering
это обычный навык задавать вопросы, который почему-то временно покидает человека при виде мигающего курсора
но хороший запрос решает только половину проблемы
допустим, нейросеть выдала текст
он убедительный, цифры красивые, выводы логичные, пунктуация лучше вашей
что дальше?
нулевой уровень — поверить и отправить
первый — перечитать ответ и проверить внутреннюю логику
нет ли противоречий
похожи ли цифры на правду
не появился ли в исследовании эксперт, которого никогда не существовало
второй — попросить модель выступить против собственного ответа
например:
«найди в этом тексте фактические ошибки, спорные утверждения и места, в которых у тебя нет надёжного источника»
это не превращает нейросеть в независимого аудитора
иногда она так же убедительно проверяет выдуманный факт, как до этого убедительно его придумала
но часть слабых мест всё-таки обнаруживает
третий — устроить нейросетевой консилиум
я беру ответ ChatGPT и отправляю Claude с просьбой проверить логику, факты и спорные выводы
возражения Claude возвращаю в ChatGPT
потом смотрю, что ChatGPT признаёт, с чем спорит и какими источниками защищается
иногда отправляю ответ обратно
в какой-то момент две нейросети начинают спорить между собой, а я работаю курьером между двумя очень уверенными специалистами
это полезно, потому что разные модели замечают разные слабые места
но независимой проверкой такой консилиум всё равно не считается
две нейросети вполне способны дружно поверить в одну и ту же красивую ерунду
коллективная уверенность ещё не стала доказательством ни у людей, ни у машин
четвёртый — выбрать два-три проверяемых утверждения и найти первоисточники вручную
если хотя бы одно не подтвердилось: у вас появился новый план на вечер
проверить всё остальное
единого процента ошибок у нейросетей не существует
в узких задачах с предоставленным источником лучшие модели могут ошибаться в нескольких процентах случаев
в специализированных юридических системах исследователи находили выдуманные утверждения в 17–33% ответов
разброс зависит от модели, задачи, данных и способа проверки
самая дорогая особенность ИИ не в том, что он ошибается
проблема в том, что правильный ответ и полную ерунду модель произносит с одинаковой уверенностью
она не краснеет
не мнётся
не смотрит в потолок
не добавляет «если честно, я сейчас придумал»
просто отвечает ровным голосом и с идеальными подзаголовками
знакомый теперь ходит только к третьему врачу
не потому, что тот лучший специалист
а потому, что оказался единственным, кто не поверил первому ответу
нейросеть не обязана сомневаться в том, что написалаэто пока ваша должностная обязанность#ИИ
@instrumenteka #азбукапредпринимателя
@instrumenteka#АЗ_ИИ
@instrumenteka