Как проверять LLM на галлюцинации по НПА
Отдельный риск при работе LLM над документами — это неверный пересказ содержания НПА, а также ссылки на несуществующий НПА или его старую редакцию.
Поэтому после подготовки документа полезно запускать самопроверку.
Это можно делать и в обычном чате, и через ИИ-агента.
• Обычный чат подойдет, если нужно проверить несколько конкретных ссылок.
• Если массив документов большой, лучше использовать агента. О работе с ним и пойдет речь.
Что можно сделать
1. Собрать все документы в одну папку
• Положите в папку документы, в которых нужно проверить ссылки на НПА.
• Если часть нормативных актов у вас уже сохранена, их можно вынести в отдельную папку. Помним про формат файлов.
2. Отдельно указать, какие источники считать приоритетными
Если текст нормативного акта уже лежит в папке (и именно его нужно использовать), лучше прямо запретить модели искать другую редакцию в интернете.
3. Для отсутствующих актов разрешить поиск актуальной редакции
Если нужного НПА в вашей папке нет, можно поставить отдельную задачу: найти актуальную редакцию на конкретную дату.
4. Просить проверить не только наличие ссылок, но и содержание
Можно ставить задачу проверить и сам факт существования НПА, и то, как он использован в тексте (правильно ли описаны конкретные статьи, пункты и разделы / нет ли ссылок на старые положения / и др.).
5. Попросить модель отдельно показать найденные ошибки
Лучше не просить просто "проверить документ", а просить вывести результат в понятной структуре (на ваш вкус).
Так проверка становится более контролируемой — понятно будет, где что лучше перепроверить.
6. Запускать проверку в чистом диалоге
В старом диалоге она может опираться на предыдущий контекст и хуже замечать собственные ошибки.
Для примера оставляем промпт от @borouhin из нашего чата:
Промпты из чата мы даем для понимания того, как может выглядеть постановка задачи. Но не нужно сохранять этот и другие промпты в какую-то библиотеку: они быстро устаревают и плохо адаптируются под ваши задачи и для разных моделей.
Лучше своими словами объяснить нейросети, что именно вы хотите, а после этого попросить собрать подходящий промпт под вашу задачу.
_________________________________
Сообщество юристов, которые покоряют нейросети
Канал | Курс
Отдельный риск при работе LLM над документами — это неверный пересказ содержания НПА, а также ссылки на несуществующий НПА или его старую редакцию.
Поэтому после подготовки документа полезно запускать самопроверку.
Это можно делать и в обычном чате, и через ИИ-агента.
• Обычный чат подойдет, если нужно проверить несколько конкретных ссылок.
• Если массив документов большой, лучше использовать агента. О работе с ним и пойдет речь.
Что можно сделать
1. Собрать все документы в одну папку
• Положите в папку документы, в которых нужно проверить ссылки на НПА.
• Если часть нормативных актов у вас уже сохранена, их можно вынести в отдельную папку. Помним про формат файлов.
2. Отдельно указать, какие источники считать приоритетными
Если текст нормативного акта уже лежит в папке (и именно его нужно использовать), лучше прямо запретить модели искать другую редакцию в интернете.
3. Для отсутствующих актов разрешить поиск актуальной редакции
Если нужного НПА в вашей папке нет, можно поставить отдельную задачу: найти актуальную редакцию на конкретную дату.
4. Просить проверить не только наличие ссылок, но и содержание
Можно ставить задачу проверить и сам факт существования НПА, и то, как он использован в тексте (правильно ли описаны конкретные статьи, пункты и разделы / нет ли ссылок на старые положения / и др.).
5. Попросить модель отдельно показать найденные ошибки
Лучше не просить просто "проверить документ", а просить вывести результат в понятной структуре (на ваш вкус).
Так проверка становится более контролируемой — понятно будет, где что лучше перепроверить.
6. Запускать проверку в чистом диалоге
В старом диалоге она может опираться на предыдущий контекст и хуже замечать собственные ошибки.
Для примера оставляем промпт от @borouhin из нашего чата:
Из папки прочитай файлы [...] и проверь их на отсутствие противоречий упомянутым в них нормативным актам. Все ли документы существуют, правильно ли описано содержание конкретных пунктов/разделов, нет ли ссылок на старые или недействующие редакции?
Некоторые документы сохранены в папку "laws". Для них используй только тот текст, который лежит в этой папке, не ищи в интернете другие версии. Для отсутствующих в этой папке документов постарайся найти максимально актуальную на сегодня редакцию в интернете. Сегодня 15 марта 2026 года.
Промпты из чата мы даем для понимания того, как может выглядеть постановка задачи. Но не нужно сохранять этот и другие промпты в какую-то библиотеку: они быстро устаревают и плохо адаптируются под ваши задачи и для разных моделей.
Лучше своими словами объяснить нейросети, что именно вы хотите, а после этого попросить собрать подходящий промпт под вашу задачу.
_________________________________
Сообщество юристов, которые покоряют нейросети
Канал | Курс