Draft AI | Иван Кундиль

Тест 14 нейросетей: стоит ли дешёвая модель своих денег?

Мой сервис по каждому судебному делу составляет «паспорт» — выжимку из акта в виде таблицы на 28 полей: кто с кем судился, что просил истец, что взыскал суд, какие статьи применил и т.д. Ранее писал, что эти выжимки позволяют снизить количество галлюцинаций при ответе сервиса.

Составляет такие паспорта DeepSeek v4-flash, это одна из самых дешёвых, но эффективных моделей на рынке. И у неё встречаются пробелы в работе: то обстоятельство перепутает, то оставит поле пустым, хотя ответ есть в тексте судебного акта.

Хочется больше точности, и логичное решение — взять модель посильнее и подороже. Но прежде чем менять модель, я решил проверить, можно ли ещё что-то выжать из DeepSeek v4-flash, и провёл тест.

Взял выборку из 100 судебных дел и 14 нейросетей — от топовых GPT-5.5, Opus 4.8 и Sonnet 5 до бюджетных (все модели можно увидеть на графике).

Каждая модель читала судебный акт и составляла по нему паспорт (выжимку). Для каждого дела заранее готовился эталон: его совместно составляли Opus 4.8 и GPT-5.5, а спорные поля дополнительно сверялись с текстом акта. Дальше всё просто: чем больше полей в паспорте модели совпало с эталоном, тем выше ее точность. Проверка шла вслепую — оценщик не знал, паспорт какой модели перед ним.

Результат: топы набрали 96–98%, а DeepSeek v4-flash — 90,4% и десятое место (рейтинг на картинке).

Не стал спешить с заменой модели и разобрал, на чем именно DeepSeek v4-flash теряет точность. Ошибки оказались двух типов — и лечатся они по-разному.

➡Первый тип — путаница в обстоятельствах дела. Подсказка нашлась ещё при подготовке эталонов паспортов: даже Opus 4.8 и GPT-5.5 иногда трактовали одно и то же поле по-разному. Оказалось, дело не в том, что одна модель сильнее другой, а в самой инструкции\промте — некоторые формулировки в инструкции можно было понять двояко. Переписал спорные места, и путаница в ответах DeepSeek v4-flash почти полностью ушла.

➡Второй тип — пустые поля паспорта. Здесь DeepSeek v4-flash не выдумывает, а ленится: суд расписал, как считал компенсацию, а в поле «способ расчета» все равно пусто. Правки в инструкцию больше не помогали: заставляешь модель заполнять все пустые поля и она начинает галлюцинировать.

Но пустое поле, в отличие от выдумки, легко обнаружить автоматически. Поэтому я дописал скрипт (доработал код в инструменте, который собирает паспорта) — после составления паспорта он проверяет, какие поля остались пустыми, и просит DeepSeek v4-flash дозаполнить только их. Уже заполненные поля трогать ему запрещено.

Итог: паспорт подорожал примерно на 37%, а точность выросла с 90,4% до 96,2%. Для сравнения: у Sonnet 5 — 98,7%, но он дороже DeepSeek v4-flash в 15 с лишним раз.

Этот тест ещё раз показал, как сильно на результат влияет окружение (обвязка) модели. И что даже топовые нейросети ошибаются в простой на первый взгляд задаче: пересказать судебное дело в таблицу.

Так что ответ на вопрос из заголовка — да, дешёвая модель стоит своих денег, если немного постараться.

На ПМЮФ-2026 прошла сессия «Юрист будущего: портрет профессии в эпоху искусственного интеллекта».

Для видео к сессии я записал короткий комментарий о том, как изменилась моя работа с появлением ИИ, — спасибо Павлу Мищенко и команде Транснефти за приглашение.

Пока готовил этот комментарий, поймал себя на нескольких мыслях — ими и хочу поделиться.

Разговоры юристов вокруг ИИ становятся заметно серьезнее в части технической составляющей. Обсуждение промптов, подготовка черновиков или саммари документов — это уже базовый уровень, к которому многие за 2025 год привыкли. Сейчас все чаще встречаются темы вроде RAG, агентных и мультиагентных систем, оркестрации, MCP, метрик.

И даже в таких технических вопросах роль юриста никуда не исчезает. Именно юрист как доменный эксперт понимает, какой ответ качественный, где модель ошиблась и какую ценность инструмент должен давать бизнесу или юридической команде.

Поэтому профессия постепенно меняется. Мало просто знать право и готовить документы. Некоторые юристы уже совмещают несколько ролей: юриста, продакт-менеджера и технического специалиста. Они понимают, какую задачу закрывает инструмент и как он должен работать, проверяют правовую часть и качество ответа, а иногда и сами «вайбкодят» решение под конкретную задачу.

Собрал юридический плагин для Claude Code и сравнил результаты

При подготовке документа с несколькими моделями часто можно заметить, что каждая из них (например Claude Opus 4.8 и GPT-5.5) предлагает разные аргументы. Одна делает упор на процесс, другая лучше подмечает пробелы в доказательствах, и по итогу они по-разному могут оценить суммы.

Я начал использовать их как стороны спора — давал одной модели позицию другой и просил дать комментарии, опровергнуть, потом наоборот.

Получается ручной мульти-агентный процесс: одна модель предлагает, другая критикует, а я дополняю фактами, контекстом, опровергаю тот или иной аргумент и по итогу собираю всё в единую позицию.

По сути, это работа оркестратора, которую можно попробовать отдать агентам.

Так и пришла идея сделать плагин под юридическую работу — legal-brief.

Я не писал его с нуля, за основу взял плагин superpowers от obra / Jesse Vincent и форк superpowers-strigov-ver от strigov. Переделал этот подход с разработки кода на юридическую работу.

Этапы работы плагина отображены в схеме к посту.

В конце плагин предоставляет файл со списком всех норм и практики, на которые сослался в документе, и проверяет, что ссылки открываются. Актуальность и применимость норм/практики нужно проверять самостоятельно.

Для теста запустил плагин на своём реальном деле — попросил составить возражения на взыскание судебных расходов.

Чтобы понять, насколько удачным получился документ, я решил сравнить три подхода:
🔵 ручной вариант: я + Claude + GPT
🔵 плагин legal-brief
🔵 Cowork: Claude Opus 4.8 в один проход (без агентного конвейера)

Итог:
🔵Ручной вариант — субъективно лучший для подачи.
🔵Плагин — на втором месте. Хорошо раскрывает вопрос объёма работы представителей, предлагает умеренный контррасчёт, но упустил один тезис, на который стоило бы сослаться, и местами документ получился длинноватым.
🔵Cowork — рабочий черновик, но слабее. Основная мысль есть, но местами слишком категорично, слабее контррасчёт и меньше аргументов.

Да, ручной вариант получился лучше. И, честно говоря, я сомневаюсь, что даже при более тонкой настройке плагин будет идеально отрабатывать такие задачи без участия человека.

Но в этом и не была цель.

Плагин может снять пул работы, который обычно делается вручную: собрать саммари, прогнать документ через несколько ролей, получить критику, альтернативный взгляд и доработанный черновик.

Его можно использовать для первых 70–80% работы, а дальше вручную проверять, усиливать позицию и добавлять то, что видит только человек, погружённый в дело.

Кому интересно потестировать и сравнить свои результаты с результатами плагина — ссылка на репозиторий ниже.

Репозиторий https://github.com/KunDeal/legal-brief

Он теперь совсем взрослый самостоятельный, или как я запустил автообновление базы судебной практики IP Agent

До этого процесс был такой: искал дела, открывал сайты, скачивал документы, делал паспорта дел (вытаскивал суть), индексировал в базу. Теперь это делает бот сам, обновляет базу каждую ночь в 03:00.

Изначально ориентировался на Hermes Agent от Nous Research (опенсорс-оркестратор для LLM-агентов). Идея понравилась следующим: работа по расписанию, память между запусками, управление через Telegram, отчёты после выполнения задач - выглядело многообещающе.
Но в ходе изучения его возможностей понял, что для автообновления можно пойти гораздо более простым путём. Достаточно продумать последовательность действий и написать скрипт. В итоге сам Hermes пока отправился в список идей на будущее, а скрипт поселился прямо на сервере бота.

Сейчас скрипт работает примерно так:
〰 заходит в картотеку арбитражных судов (ras.arbitr) и ищет свежие IP-решения за последнюю неделю;
〰 отсекает всякий «шум» вроде мировых соглашений, возвратов и прекращений;
〰 скачивает PDF;
〰 отправляет решение в Gemini и получает обратно структурированный паспорт дела: стороны, объект ИС, статьи ГК, позиции сторон, логику суда, итог и размер компенсации;
〰 находит дело в КАД и сохраняет ссылку;
〰 индексирует всё это в ChromaDB, после чего дело становится доступно для поиска через бота.

Первый тест (25.05):
Найдено 25 дел → отфильтровано 24 → 1 прошло полный цикл и попало в базу.

В планах добавить отслеживание судьбы дела - есть ли апелляция, кассация, отменяли ли решение и т.д.

Ещё ограничил парсинг до 5 дел за сессию: ресурсов на сервере немного, а индексация идёт локальной моделью эмбеддингов. Снимать ограничение пока не спешу.

Подобный парсинг - штука хрупкая. Поменяется структура страниц или усилят антибота - буду искать другой путь. Такая автоматизация почти всегда живёт по этим правилам.

Кроме этого, за неделю ещё кое-что сделал:
〰+1089 решений СОЮ (для них паспорта генерировались отдельным пайплайном на gpt-oss-120b - по моим тестам он здесь оказался сильнее чем Gemini 2.5 про, но на объемных делах требует перепроверки);
〰 появился второй режим работы «Поиск практики» (БЕТА);
〰 добавил ссылки на КАД прямо в ответы бота;

Итог недели: база выросла почти в полтора раза - до 3489 дел, у бота появился второй режим работы, а теперь он ещё и сам пополняет базу по ночам.

Интересно мнение коллег - как относитесь к такому парсингу?
Акты открытые, доступ свободный, проект некоммерческий, но автоматизированный сбор не везде приветствуется.

А как у других?
Подобные галлюцинации преследуют не только маленькие проекты, но и специализированные сервисы таких гигантов, как Яндекс. Проверил Нейроюриста (который работает в связке с Гарантом) - тот же запрос про фото на маркетплейсе, ответ со ссылками на 10 «реальных» судебных актов.
В итоге - из 10 приведенных дел, 5 вообще не про интеллектуальную собственность. Взыскание долгов за электроэнергию, услуги РЖД, муниципальный контракт на содержание дорог. Два дела с подозрительно красивыми номерами в системе КАД не находятся вовсе (вероятнее всего, галлюцинация). В анализе Нейроюрист ссылается на дело № А41-56789/2023 как пример длительности использования фото. По факту это спор о 5,8 млн рублей задолженности по контракту на содержание улично-дорожной сети.
Из всех 10 ссылок реально по теме только 2 дела, и только одно подходит под контекст вопроса.

Ниже прикрепил скрин с делами, которые предоставил Нейроюрист в качестве релевантной практики по вопросу интеллектуальных прав в части фотографий.

Качество ответов в подобных сервисах (если говорим про галлюцинации) больше зависит не от модели ЛЛМ, которую выбрали, а от обвязки (настройка, код, пайплайн), которую построили вокруг этой модели. Можно взять лучшую ЛЛМ и идеальные эмбеддинги, но если ЛЛМ получает части документа без контекста всего дела, то неизбежно будет додумывать остальное сама.

А если на ИИ-инструменте написано «Яндекс» и указано, что он работает в связке с Гарантом, это, увы, не гарантирует, что он сошлётся на релевантное дело.

Что внутри у Нейроюриста, я не знаю - использует он классический RAG, обращается к Гаранту по API, или это гибрид. Но судя по тому, какую практику он выдаёт, можно сделать вывод о том, каких слоёв там точно нет.

Пять дел из чужой отрасли - значит, нет фильтра по тематике перед выдачей. Два дела с красивыми номерами выдуманы - значит, ЛЛМ не привязана к реально найденным делам и может дописать «правдоподобный» номер от себя, без сверки с базой. А вот дело А41-56789/2023, где номер настоящий, а описание не подходит по теме, говорит о той же галлюцинации, которую я поймал у себя: модель видит кусок акта без полного контекста и достраивает остальное по аналогии.

Все три проблемы лежат на уровне обвязки, а не данных: фильтрация кандидатов по тематике, привязка каждого фрагмента к полному контексту дела, сверка реквизитов с базой перед ответом. Связка с Гарантом тут не спасает - даже идеальный источник не помогает, если на выходе модель додумывает по нему свои детали.

Немного мыслей про Obsidian

В сети много примеров связки агент (Cowork и др.) + Obsidian, складывается впечатление, будто Obsidian сам по себе делает работу эффективнее. Но так ли это?

Если кто не знаком, Obsidian, это удобный редактор md-заметок (md, обычный текстовый формат файлов) с графом связей и навигацией по ссылкам, а не «второй мозг», как его иногда позиционируют. Ближе аналогия с картотекой Лумана, только в цифре.

Если в двух словах. Тот же эффект можно получить от обычной папки с .md и без Obsidian. Полезны сами md-саммари, программа лишь добавляет удобства пользователю - автокомплит при наборе [[ (выпадает список заметок), кликабельные переходы, обратные ссылки (видишь, кто на эту заметку ссылается). Когда заметок много, ориентироваться через эти функции проще, чем искать файлы по рабочему столу. Использовать можно любого агента с доступом к папке (Cowork, Claude Code, Trae, Cursor). Современные агенты подключаются к vault (так Obsidian называет рабочую папку) через MCP (стандарт, по которому агент читает и пишет файлы у тебя на ПК).

Дальше про то, как применяю. Для двух моих сфер, кода и юр. практики. Польза в одном - накопление контекста, который не помещается в голове.

В работе с кодом
〰️Журнал архитектурных решений. Накидал черновик агенту, он оформил заметку и связал с предыдущими. В коде не написано, почему я перешёл на другую модель эмбеддинга или удалил реранкер. Заметки хранят именно эти причины.
〰️Промпт-библиотека. Рабочие промпты, чтобы не писать каждый раз с нуля.
〰️Журнал экспериментов. Что пробовал и не сработало (история с метриками реранкера в первой версии бенчмарка), чтобы не наступать на одни и те же грабли.
〰️ Идеи и планы. Не только сами идеи, но и причины, по которым их стоит реализовать.

В новом чате указываю агенту нужные заметки, он сразу видит логику проекта, не предлагает отброшенные варианты. Экономит токены. Если не указать конкретные файлы, агент полезет читать весь проект.

В юр. работе
〰️ Длинное дело на несколько лет или с большим количеством материалов. После каждого процессуального действия делаю заметку. Позиция, аргументы, выводы эксперта, свои мысли.
〰️ Связи. Вывод эксперта → возражение ответчика → мой контр-аргумент. Открываешь через полгода заметку про экспертизу, внизу видишь всё, что на неё опирается.
〰️ Та же логика «что» (материалы дела) и «почему» (моя тактика, этого в материалах нет, через полгода трудно вспомнить).
〰️ Подключаешь агента к папке проекта, он работает с твоими саммари, а не с тонной документов.

Где роль Obsidian переоценена
Видел популярный сценарий - скачиваешь судебную практику, подключаешь агента, получаешь аналитику. Попробовал, 50 дел, Cowork + Obsidian. Расход токенов уже на десятке дел ощутимый. Агент с каждым новым делом перечитывает ранее размеченные.
И ладно токены, но в таких задачах Obsidian переоценен. Агент выполнит эти задачи и без него. Графы видит только пользователь, агенту нужны саммари, а не визуализация. Obsidian нужен «на длинной дистанции», когда надо вспомнить контекст задачи полугодовой давности, а не для аналитики здесь и сейчас.

Оговорки
➖Безопасность. Vault лежит у тебя на ПК, ничего не уходит в облако. Положительный момент относительно тех же Notion и Evernote.
➖Граф не так полезен, как кажется. Помогает видеть изолированные заметки и хабы. Для поиска ответов бесполезен. Открывал несколько раз за всё время.
➖Web Clipper. Сохраняет текст статьи в md-заметку. На сайтах со сложной защитой может вытащить пустую страницу (например, К+). За год может получиться личная библиотека под свои интересы.
➖ Базовый Obsidian бесплатен. Платно только Sync (синхронизация устройств) и Publish (публикация vault как сайта).
➖Заметки, это обычные .md, откроются в любом редакторе и без Obsidian.

Итог
Obsidian не делает тебя продуктивнее сам по себе, это просто редактор заметок. Но если есть привычка вести заметки, экономит часы на «где это было / почему я сделал именно так» и токены на объяснение агенту контекста. Для юриста с длинными делами и вайбкодера с растущим проектом, рабочий инструмент.

Реранкер: оставить, заменить или выкинуть?

После того как учёл ошибки в бенчмарке эмбеддингов, решил поменять модель эмбеддинга в боте и наконец-то дозалить новую судебную практику. Но столкнулся с тем, что заодно нужно определиться с реранкером: оставить старый, выбрать новый или вовсе убрать.

Что сделал. На уже размеченных данных прошлого теста прогнал четыре реранкера по тем же 30 вопросам и семи эмбеддингам. Делать новую разметку не пришлось, поэтому всё заняло несколько часов.

Реранкеры в тесте:

mmarco-mMiniLMv2 - мой текущий, обучен на английском MS MARCO
bge-reranker-v2-m3 - мультиязычный от BAAI, 568M параметров
jina-reranker-v3 - листвайз-архитектура, 0.6B параметров
mxbai-rerank-base-v2 - на базе Qwen-2.5, 0.5B параметров

Плюс baseline без реранкера (raw).

Главные выводы:

➖Не каждый реранкер подходит для русского юридического корпуса. Mxbai в моём корпусе значимо ухудшил результаты на большинстве эмбеддингов, английский mmarco на русском ожидаемо нейтрален. Работают только bge и jina.

➖ Эффект реранкера зависит от качества эмбеддинга. На сильных эмбеддингах (OpenAI, Voyage, USER2-base) приросты в пределах погрешности - на 30 вопросах их математически невозможно отличить от нуля. На слабых эмбеддингах эффект уже ощутимый и статистически значимый:

Yandex (raw 0.630) → bge 0.755 (+12.5 пункта)
Cohere (raw 0.700) → jina 0.793 (+9.3 пункта)

OpenAI настолько хорошо ранжирует юридические дела сам, что реранкеру нечего улучшать. На слабом эмбеддинге пространство для улучшения есть, и реранкер реально вытягивает результат.

➖USER2-base + jina как локальная альтернатива OpenAI. USER2-base в raw даёт 0.773. С jina связка выходит 0.797. Для сравнения: OpenAI без реранкера - 0.809. Разница на этой выборке в пределах погрешности - нет смысла выбирать OpenAI вместо локальной связки.

Решение для бота
Поставлю USER2-base, если позволят ресурсы сервера, плюс jina-reranker-v3. Если jina по железу не пойдёт - оставлю bge. Mmarco убираю, пользы от него нет.

Ограничения теста те же, что в прошлом посте. Часть выводов подтверждена статистически, часть - наблюдения в рамках выборки 30 вопросов.

Апелляция на собственный бенчмарк: как я искусственно раздул метрики реранкера

Недавно я публиковал бенчмарк эмбеддинг-моделей для юридического RAG и делал в нём крайне убедительные выводы: про реранкер, про эмбеддинги, про гибриды. Как оказалось, часть этих выводов была неверной.

На эту мысль меня подтолкнула Екатерина, отдельное ей спасибо. В методике моего расчета была брешь, которую я не заметил.

Что переделал: разметил 2751 пару (вместо 635) на уровне сырой выдачи, до этапа реранкинга, добавил к тесту еще одну локальную модель - deepvk/USER2-base. Вопросов по-прежнему 30. Что получилось:

〰️Реранкер не даёт значимого прироста. Разница между выдачей "до" и "после" реранкера на моих данных в пределах погрешности, а для некоторых моделей эффект даже отрицательный (видно в таблице). То есть фактически прироста нет. Оговорка: вывод касается только конкретного реранкера, который у меня установлен. С другим реранкером результат может быть совсем иной.

〰️Вывод про гибрид двух эмбеддингов устоял, но стал скромнее. Эффект от объединения двух моделей на честной разметке уменьшился, но остался. Оговорка: это сработает только если найти «нормальный» реранкер, который хорошо сортирует результаты. Без него гибрид расширяет корзину кандидатов, но до пользователя нужные дела всё равно могут не дойти. А существует ли "нормальный" реранкер - я пока не знаю.

〰️ О рейтинге эмбеддингов. На старой разметке все модели после реранкера были статистически неотличимы. К тесту я добавил ещё одну модель, которую часто рекомендуют в юридическом сообществе нейросетей, — deepvk/USER2-base. Значения и рейтинг в таблице к посту. Из рейтинга выделяется топ-3, но в рамках теста разница между этими тремя моделями считается погрешностью (30 вопросов — это небольшая выборка для уверенных выводов). Так что на этой выборке их результаты можно считать равными.

Главная находка - USER2-base. Локальная русская модель от deepvk, бесплатная, при этом по качеству не уступает OpenAI ($2.84 за индексацию моего корпуса) и Voyage ($0.63). Без API, без санкционных рисков.

Полная версия поста с таблицами и детальным разбором.

Провел онлайн-лекцию в Томском государственном университете для студентов программы «Специалист по цифровой трансформации юридической деятельности»

Рассказал, как устроен процесс вайбкодинга, с чего начать, и на примере своего проекта показал архитектуру, стек и инструменты.
По результатам получил 87 заполненных форм обратной связи. Студенты сделали 207 запросов к боту как на основе реальных, так и смоделированных ситуаций и оценили его работу по трём критериям:

🔵точность ссылок - 4,29 из 5,
🔵обоснованность вилки - 4,28 из 5,
🔵практическая полезность - 4,69 из 5.

Важными оказались не только оценки студентов, но и их рекомендации по улучшению проекта:
➡️Увеличить количество дел в базе (всё никак руки не дойдут);
➡️Ввести режим краткого и развёрнутого ответа - полная версия многим кажется перегруженной;
➡️Улучшить формат ответа: выделить жирным ключевое, разбить на понятные блоки;
➡️ Улучшить логику уточняющих вопросов - бот теряет контекст судебной практики, на которую сам ссылается в первом ответе.

Были и ошибки, бот иногда ссылается на дела, которые не относятся к ситуации, или даёт неточные расчёты. Это видно и по оценкам - точность ссылок получила самый низкий балл из трёх критериев. Есть над чем работать.

Судя по объёму и стилю обратной связи, некоторые студенты проверяли ответы бота через другую нейросеть. Содержание ожидаемое - «бот ссылается на несуществующую ст. 1252.1 ГК РФ», «на несуществующий повышающий коэффициент в п. 2 ст. 1301 ГК РФ» и что «применение редакции 2026 года - анахронизм».
Насколько мы знаем, это далеко не так😁

Вывод простой: ответы любой нейросети, включая мой бот, нужно проверять, прежде чем доверять "на слово". Но проверять нужно по источнику (текст закона, карточка дела), а не прогоном через другую LLM.

Спасибо Татьяне Трубниковой и студентам НИ ТГУ за возможность рассказать о вайбкодинге как современном навыке юриста и поделиться опытом построения своего проекта.