LLM-роутер + VFS поверх векторного RAG
Разбор архитектуры, где между пользователем и векторной базой добавлен слой маршрутизации и иерархического хранения.
LLM-роутер. Локальная модель с температурой 0.1 классифицирует ввод в одно из трёх намерений: запрос к базе, добавление документа, неоднозначный ввод (→ уточнение). Выход строго структурирован — JSON с полями action, vfs_path, reasoning.
VFS. Иерархия путей вместо плоского списка чанков. Двойное хранение: коллекция полных текстов плюс коллекция чанков. Разведение позволяет редактировать документ без проблем с перекрывающимися чанками и даёт полноценный CRUD (чтение, правка, переименование, удаление). Плюс контроль дублей: при конфликте — заменить, дописать или создать новый.
Поиск. Гибрид: косинусная близость векторов, keyword-boost при совпадении ключевых слов в имени файла и отсечение по порогу расстояния. Пути файлов работают как дополнительные структурные маркеры релевантности.
Прототип на Qwen2.5-3B-instruct-q5_0 — показательно, что даже 3B-модели хватает на роутинг с детерминированным JSON.
Источник: habr.com
😎 — гибридный поиск по вкусу
🤔 — 3B правда потянет
@ai_for_dev
Разбор архитектуры, где между пользователем и векторной базой добавлен слой маршрутизации и иерархического хранения.
LLM-роутер. Локальная модель с температурой 0.1 классифицирует ввод в одно из трёх намерений: запрос к базе, добавление документа, неоднозначный ввод (→ уточнение). Выход строго структурирован — JSON с полями action, vfs_path, reasoning.
VFS. Иерархия путей вместо плоского списка чанков. Двойное хранение: коллекция полных текстов плюс коллекция чанков. Разведение позволяет редактировать документ без проблем с перекрывающимися чанками и даёт полноценный CRUD (чтение, правка, переименование, удаление). Плюс контроль дублей: при конфликте — заменить, дописать или создать новый.
Поиск. Гибрид: косинусная близость векторов, keyword-boost при совпадении ключевых слов в имени файла и отсечение по порогу расстояния. Пути файлов работают как дополнительные структурные маркеры релевантности.
Прототип на Qwen2.5-3B-instruct-q5_0 — показательно, что даже 3B-модели хватает на роутинг с детерминированным JSON.
Источник: habr.com
😎 — гибридный поиск по вкусу
🤔 — 3B правда потянет
@ai_for_dev