🤖Статья на Хабре: RAG без магии — что действительно влияет на качество системы
В статье Лев Рябов, фронтенд-разработчик М2, разбирает RAG с точки зрения обычного разработчика — без погружения в ML и сложных AI-фреймворков.
На примере системы на базе 62 книг и тестового набора из 135 вопросов Лев показывает, почему RAG, который хорошо выглядит в демо, может ошибаться в проде — и как проверять его качество до запуска.
В статье Лев:
Читать на Хабре
В статье Лев Рябов, фронтенд-разработчик М2, разбирает RAG с точки зрения обычного разработчика — без погружения в ML и сложных AI-фреймворков.
На примере системы на базе 62 книг и тестового набора из 135 вопросов Лев показывает, почему RAG, который хорошо выглядит в демо, может ошибаться в проде — и как проверять его качество до запуска.
В статье Лев:
➕Объясняет, как устроен базовый RAG-пайплайн и какую роль в нём играют эмбеддинги.
➕Показывает, зачем собирать собственный тестовый набор и отдельно измерять качество извлечения и генерации.
➕Разбирает, как выбор модели эмбеддингов и контекст внутри чанков повлияли на recall@5 в его системе.
➕Рассказывает о подходах, которые не дали заметного прироста на его корпусе: гибридном поиске и реранкинге.
➕Объясняет, как тестировать отказ от ответа и не давать модели уверенно галлюцинировать, когда нужной информации нет.
➕Делится минимальным стеком для TypeScript-разработчика: PostgreSQL, pgvector, API эмбеддингов и LLM — без отдельной векторной БД и AI-фреймворка.
Читать на Хабре