А как у других?
Подобные галлюцинации преследуют не только маленькие проекты, но и специализированные сервисы таких гигантов, как Яндекс. Проверил Нейроюриста (который работает в связке с Гарантом) - тот же запрос про фото на маркетплейсе, ответ со ссылками на 10 «реальных» судебных актов.
В итоге - из 10 приведенных дел, 5 вообще не про интеллектуальную собственность. Взыскание долгов за электроэнергию, услуги РЖД, муниципальный контракт на содержание дорог. Два дела с подозрительно красивыми номерами в системе КАД не находятся вовсе (вероятнее всего, галлюцинация). В анализе Нейроюрист ссылается на дело № А41-56789/2023 как пример длительности использования фото. По факту это спор о 5,8 млн рублей задолженности по контракту на содержание улично-дорожной сети.
Из всех 10 ссылок реально по теме только 2 дела, и только одно подходит под контекст вопроса.
Ниже прикрепил скрин с делами, которые предоставил Нейроюрист в качестве релевантной практики по вопросу интеллектуальных прав в части фотографий.
Качество ответов в подобных сервисах (если говорим про галлюцинации) больше зависит не от модели ЛЛМ, которую выбрали, а от обвязки (настройка, код, пайплайн), которую построили вокруг этой модели. Можно взять лучшую ЛЛМ и идеальные эмбеддинги, но если ЛЛМ получает части документа без контекста всего дела, то неизбежно будет додумывать остальное сама.
А если на ИИ-инструменте написано «Яндекс» и указано, что он работает в связке с Гарантом, это, увы, не гарантирует, что он сошлётся на релевантное дело.
Подобные галлюцинации преследуют не только маленькие проекты, но и специализированные сервисы таких гигантов, как Яндекс. Проверил Нейроюриста (который работает в связке с Гарантом) - тот же запрос про фото на маркетплейсе, ответ со ссылками на 10 «реальных» судебных актов.
В итоге - из 10 приведенных дел, 5 вообще не про интеллектуальную собственность. Взыскание долгов за электроэнергию, услуги РЖД, муниципальный контракт на содержание дорог. Два дела с подозрительно красивыми номерами в системе КАД не находятся вовсе (вероятнее всего, галлюцинация). В анализе Нейроюрист ссылается на дело № А41-56789/2023 как пример длительности использования фото. По факту это спор о 5,8 млн рублей задолженности по контракту на содержание улично-дорожной сети.
Из всех 10 ссылок реально по теме только 2 дела, и только одно подходит под контекст вопроса.
Ниже прикрепил скрин с делами, которые предоставил Нейроюрист в качестве релевантной практики по вопросу интеллектуальных прав в части фотографий.
Качество ответов в подобных сервисах (если говорим про галлюцинации) больше зависит не от модели ЛЛМ, которую выбрали, а от обвязки (настройка, код, пайплайн), которую построили вокруг этой модели. Можно взять лучшую ЛЛМ и идеальные эмбеддинги, но если ЛЛМ получает части документа без контекста всего дела, то неизбежно будет додумывать остальное сама.
А если на ИИ-инструменте написано «Яндекс» и указано, что он работает в связке с Гарантом, это, увы, не гарантирует, что он сошлётся на релевантное дело.
Что внутри у Нейроюриста, я не знаю - использует он классический RAG, обращается к Гаранту по API, или это гибрид. Но судя по тому, какую практику он выдаёт, можно сделать вывод о том, каких слоёв там точно нет.
Пять дел из чужой отрасли - значит, нет фильтра по тематике перед выдачей. Два дела с красивыми номерами выдуманы - значит, ЛЛМ не привязана к реально найденным делам и может дописать «правдоподобный» номер от себя, без сверки с базой. А вот дело А41-56789/2023, где номер настоящий, а описание не подходит по теме, говорит о той же галлюцинации, которую я поймал у себя: модель видит кусок акта без полного контекста и достраивает остальное по аналогии.
Все три проблемы лежат на уровне обвязки, а не данных: фильтрация кандидатов по тематике, привязка каждого фрагмента к полному контексту дела, сверка реквизитов с базой перед ответом. Связка с Гарантом тут не спасает - даже идеальный источник не помогает, если на выходе модель додумывает по нему свои детали.