Итак, как мы знаем, галлюцинации можно определять на уровне всего респонса, на уровне спанов и на уровне атомарных фактов. С галлюцинациями на уровне всей генерации понятно, но как обстоят дела с поспановыми и на уровне клемов. В работе MUCH: A Multilingual Claim Hallucination Benchmark сделан шаг вперед: от поспановых к формированию «клеймов», но все еще на уровне спанов.

📜О чём статья

Авторы делают попытку перейти к детекции галлюцинаций на уровне клеймов, но при этом оставаться на уровне спанов, чтобы можно было применять методы оценки неопределенности (UQ). Клеймами они называют спаны внутри генерации (на картинке).

⚙️Как работает пайплайн

1️⃣ В качестве основы для датасета используются данные из соревнования Mu-SHROOM только для English, French, Spanish and German — далее будет понятно, почему только для этих языков
2️⃣ С помощью инструмента на основе правил much_segmenter генерация разбивается на спаны, которые авторы называют клеймами. Правила применяются только к вышеуказанным языкам
3️⃣ С помощью GPT-4o GPT-4.1 и контекста из Википедии (аналогично PsiloQA), происходит аннотация каждого клейма-спана
4️⃣Применяют различные методы UQ в частности CCP, SAR, Maximum Likelihood, Token Likelihood, Token Entropy для получения UQ всего спана

📈Результаты

1️⃣В качестве схемы аггрегации лучше всего сработало произведение UQ всех токенов клейма
2️⃣Метод CCP показал себя лучше всех, но не сильно. Max Likelihood получил ROC-AUC 0.772 против 0.732 для CCP, однако вычислительно он значительно более эффективен

🌐Рандомные галлюцинации