ИИ критикует ИИ
Расскажу про метод, который заметно изменил мою работу с ИИ. Он называется Self-Refine. После него я почти не использую первый ответ нейросети в задачах, где есть деньги, важное решение или репутация.
В 2023 году исследователи предложили одной и той же модели сначала выполнить задачу, затем раскритиковать результат и сделать новую версию. В 7 типах задач качество улучшалось на 5–40%. Без переобучения и отдельной модели-критика.
Сначала только критика.
Потом тот же текст оценивает человек, которому придётся выполнять обещанное: хватит ли людей, времени и возможностей объекта. Затем финансовый директор проверяет, не придумали ли мы красивую, но убыточную услугу. И только после этого собирается новая версия.
С публикациями работает так же. Журналист ищет абзацы без мысли. Постоянный читатель замечает повторы. Концепцию продукта сначала оценивает клиент, который не хочет менять привычный способ работы, затем человек, которому этот продукт внедрять.
Главная ошибка -- написать: «Представь, что ты лучший маркетолог в мире». Обычно это даёт общие замечания.
Self-Refine не добавляет модели знаний. Поэтому для серьёзной проверки я даю ей документы, расчёты и ограничения. И всегда сначала прошу критику, а уже потом переписывание.
Теперь мой второй запрос почти никогда не звучит как «сделай лучше». Сначала я спрашиваю, почему результат нельзя принимать в нынешнем виде.
Иногда после такого разбора от первой версии остаётся половина. И это намного дешевле, чем услышать те же замечания от клиента.
Расскажу про метод, который заметно изменил мою работу с ИИ. Он называется Self-Refine. После него я почти не использую первый ответ нейросети в задачах, где есть деньги, важное решение или репутация.
В 2023 году исследователи предложили одной и той же модели сначала выполнить задачу, затем раскритиковать результат и сделать новую версию. В 7 типах задач качество улучшалось на 5–40%. Без переобучения и отдельной модели-критика.
Я использую это так. Допустим, прошу подготовить коммерческое предложение по управлению объектом. Получаю вполне приличный текст. Но вместо ручной редактуры прошу посмотреть на него глазами директора по закупкам:
Почему вы можете отказаться от предложения? Где непонятно, за что платить? Какие обещания нельзя проверить? Что выглядит дороже своей реальной ценности?
Сначала только критика.
Потом тот же текст оценивает человек, которому придётся выполнять обещанное: хватит ли людей, времени и возможностей объекта. Затем финансовый директор проверяет, не придумали ли мы красивую, но убыточную услугу. И только после этого собирается новая версия.
С публикациями работает так же. Журналист ищет абзацы без мысли. Постоянный читатель замечает повторы. Концепцию продукта сначала оценивает клиент, который не хочет менять привычный способ работы, затем человек, которому этот продукт внедрять.
Главная ошибка -- написать: «Представь, что ты лучший маркетолог в мире». Обычно это даёт общие замечания.
Полезнее ставить
конкретную задачу
: не «оцени как маркетолог», а «найди причины, по которым клиент не купит». Не «посмотри как инженер», а «покажи решения, которые невозможно реализовать или слишком дорого обслуживать».
Self-Refine не добавляет модели знаний. Поэтому для серьёзной проверки я даю ей документы, расчёты и ограничения. И всегда сначала прошу критику, а уже потом переписывание.
Теперь мой второй запрос почти никогда не звучит как «сделай лучше». Сначала я спрашиваю, почему результат нельзя принимать в нынешнем виде.
Иногда после такого разбора от первой версии остаётся половина. И это намного дешевле, чем услышать те же замечания от клиента.