Коллеги из Sber AI Lab опубликовали новый открытый репозиторий https://github.com/sb-ai-lab/SIRIN (Semantic Inconsistency Recognition and Inspection Nexus) - инструмент для поиска смысловых ошибок в ответах языковых моделей.
Что умеет SIRIN:
- Проверяет соответствие ответа исходному контексту на уровне токенов, последовательностей и отдельных утверждений.
- Поддерживает детекцию галлюцинаций и оценку answerability - достаточности данных для ответа.
- Объединяет несколько классов детекторов: llm-as-a-judge, uncertainty, probing с использованием метамоделей.
- Позволяет сравнивать и комбинировать разные методы детекции - работает как инструмент для исследований и разработки.
Ссылки:
🔗GitHub
🔗GitVerse
🔗Демо на Hugging Face
🔗Статья на arxiv
Поддержать традационно можно звездочками.
Что умеет SIRIN:
- Проверяет соответствие ответа исходному контексту на уровне токенов, последовательностей и отдельных утверждений.
- Поддерживает детекцию галлюцинаций и оценку answerability - достаточности данных для ответа.
- Объединяет несколько классов детекторов: llm-as-a-judge, uncertainty, probing с использованием метамоделей.
- Позволяет сравнивать и комбинировать разные методы детекции - работает как инструмент для исследований и разработки.
Ссылки:
🔗GitHub
🔗GitVerse
🔗Демо на Hugging Face
🔗Статья на arxiv
Поддержать традационно можно звездочками.