Как убедиться, что ИИ действительно прочитал ваши документы
Семён Мошкин @scanlord поделился в чате юзкейсом применения Claude Cowork.
В связи с этим возник вопрос — как убедиться, что модель действительно прочитала все документы, а не пропустила часть информации?
Собрали из чата несколько лайфхаков:
(1) Просить модель проверить саму себя
Один из лайфхаков — добавить фразу вроде:
Такой запрос заставляет модель дополнительно сверять свой ответ с исходными материалами.
(2) Добавлять контрольные маркеры
Еще одна идея — заранее поместить в документы контрольные элементы: например, отдельные критерии или формулировки, которые должны появиться в итоговом анализе.
Если они отражены в ответе, это косвенно подтверждает, что модель действительно дошла до нужных страниц.
(3) Загружать документы частями
При работе с большим массивом файлов полезно загружать их по одному или небольшими блоками и каждый раз просить нейросеть подтвердить, что она распознала содержимое.
(4) Предварительно распознавать текст
Если документы содержат сканы или сложный рукописный текст, лучше сначала распознать текст, а уже затем отправлять его на анализ нейросети. Так будет меньше ошибок при чтении.
Семён Мошкин @scanlord поделился в чате юзкейсом применения Claude Cowork.
Задача — анализ медицинских документов на 700+ страниц.
Активная сессия длилась около полутора часов: модель последовательно прочитала документы (это можно увидеть по цепочке размышлений и списку изученных файлов) и в итоге выдала отличное заключение.
В связи с этим возник вопрос — как убедиться, что модель действительно прочитала все документы, а не пропустила часть информации?
Собрали из чата несколько лайфхаков:
(1) Просить модель проверить саму себя
Один из лайфхаков — добавить фразу вроде:
«
Продумай и запусти тесты, которые проверят, что ты точно отразил всю информацию из документов
».
Такой запрос заставляет модель дополнительно сверять свой ответ с исходными материалами.
(2) Добавлять контрольные маркеры
Еще одна идея — заранее поместить в документы контрольные элементы: например, отдельные критерии или формулировки, которые должны появиться в итоговом анализе.
Если они отражены в ответе, это косвенно подтверждает, что модель действительно дошла до нужных страниц.
(3) Загружать документы частями
При работе с большим массивом файлов полезно загружать их по одному или небольшими блоками и каждый раз просить нейросеть подтвердить, что она распознала содержимое.
(4) Предварительно распознавать текст
Если документы содержат сканы или сложный рукописный текст, лучше сначала распознать текст, а уже затем отправлять его на анализ нейросети. Так будет меньше ошибок при чтении.