Репост из: AI песочница инженера
Почему промпт-инжиниринг больше не работает без правильной инфраструктуры
Раньше мы писали длинные промпты: «Ты опытный инженер, действуй как контролер, следуй правилам...»
Сейчас любую инструкцию ИИ составит за секунду. Промпт стал товаром массового производства, его ценность упала.
Новая реальность: ценность сместилась с «как спросить» на «как подготовить данные, чтобы ИИ не мог ответить неправильно».
Возьмем локальный RAG для инженерной документации. Загрузили СП, а нейросеть выдумывает пункты или путает марки бетона. Проблема не в промпте. Проблема в том, что система архитектурно не способна дать точный ответ.
Разбираем 3 принципа построения инженерной системы на базе ИИ, где промпт — просто способ достучаться до правильной инфраструктуры.
1. Гибридный поиск: ИИ должен находить точно, а не догадываться 🔍
Векторный поиск находит «похожее по смыслу». Но когда инженер спрашивает про «бетон B25 W4 F100», ему не нужно «похожее» — нужно точное совпадение.
Векторная модель может решить, что «бетон B30» семантически ближе. Это катастрофа для инженерной задачи.
Принцип: Система должна объединять смысловой поиск с точным поиском по ключевым словам (BM25). Без этого ваша система работает как «угадайка».
Реализация: В AnythingLLM или Dify включается в Retrieval settings → Hybrid Search.
2. Parent-Child Chunking: контекст важнее точности поиска 📑
Когда спрашиваете про «защитный слой бетона», простой RAG находит кусок текста с цифрой «30 мм». Но без заголовка раздела («Конструкции в агрессивных средах») эта цифра — мусор.
При нарезке PDF на куски по 500 символов вы теряете иерархию документа.
Принцип: Система ищет по мелким фрагментам (для точности), но отдает модели полный контекст — родительский блок (пункт СП, раздел таблицы целиком).
Почему критично: ИИ видит полную картину и не может вырвать цифру из контекста. Это изменение архитектуры, а не улучшение промпта.
3. Локальный Reranking: не давайте модели мусор 🧹
Даже хороший поиск может выдать 10 фрагментов, где только 2 отвечают на вопрос. Если скормить всё сразу, модель запутается (эффект «Lost in the Middle»).
Принцип: Добавьте этап переранжирования. Легкая модель (например, локальный BGE-Reranker) оценивает фрагменты и оставляет только топ-3. Только они идут в основную LLM.
Результат: Модель получает выверенную информацию. Риск ошибок снижается кратно.
Чек-лист для построения инженерной системы: ⚙️
Парсинг: Не скармливайте «сырые» PDF. Используйте Marker или Docling — они переводят PDF в Markdown, сохраняя структуру таблиц.
Локальный стек: AnythingLLM Desktop (проще) или Dify (мощнее, требует Docker). Оба поддерживают Qwen 2.5, Llama 3 и гибридный поиск.
Тест: Загрузите сложный СП. Спросите: «Какая толщина защитного слоя для колонн в агрессивной среде по СП 63.13330?». Если ответ без ссылок на пункты — система настроена неправильно.
Главный инсайт: 💡
В инженерном ИИ 80% успеха — это качество подготовки данных и архитектура системы, а не промпт.
Промпт стал интерфейсом. Вы напишете его за 10 секунд. Но если под ним нет RAG с гибридным поиском, parent-child чанкингом и reranking — получите мусор.
Локальный RAG — это не «чат с книгой». Это поисковая система по вашим регламентам, где ИИ генерирует ответ на основе найденных фактов.
🎯 Если впервые сталкиваетесь с термином RAG и хотите разобраться, как построить локальную систему знаний с нуля — ставьте реакции на этот пост.
>50 положительных реакций = триггер для создания подробного пошагового пособия с нуля до работающей системы на вашем ПК.
Кто уже строит системы на базе ИИ, а не просто пишет промпты? Какой стек используете? Делитесь в комментариях 👇
#RAG #ИнженерияСистем #ЛокальныйИИ #AI_Infrastructure #ПТО
AI песочница инженера в Дзене 📱|в МАХ 📲|в VK 📱|в VC|
Раньше мы писали длинные промпты: «Ты опытный инженер, действуй как контролер, следуй правилам...»
Сейчас любую инструкцию ИИ составит за секунду. Промпт стал товаром массового производства, его ценность упала.
Новая реальность: ценность сместилась с «как спросить» на «как подготовить данные, чтобы ИИ не мог ответить неправильно».
Возьмем локальный RAG для инженерной документации. Загрузили СП, а нейросеть выдумывает пункты или путает марки бетона. Проблема не в промпте. Проблема в том, что система архитектурно не способна дать точный ответ.
Разбираем 3 принципа построения инженерной системы на базе ИИ, где промпт — просто способ достучаться до правильной инфраструктуры.
1. Гибридный поиск: ИИ должен находить точно, а не догадываться 🔍
Векторный поиск находит «похожее по смыслу». Но когда инженер спрашивает про «бетон B25 W4 F100», ему не нужно «похожее» — нужно точное совпадение.
Векторная модель может решить, что «бетон B30» семантически ближе. Это катастрофа для инженерной задачи.
Принцип: Система должна объединять смысловой поиск с точным поиском по ключевым словам (BM25). Без этого ваша система работает как «угадайка».
Реализация: В AnythingLLM или Dify включается в Retrieval settings → Hybrid Search.
2. Parent-Child Chunking: контекст важнее точности поиска 📑
Когда спрашиваете про «защитный слой бетона», простой RAG находит кусок текста с цифрой «30 мм». Но без заголовка раздела («Конструкции в агрессивных средах») эта цифра — мусор.
При нарезке PDF на куски по 500 символов вы теряете иерархию документа.
Принцип: Система ищет по мелким фрагментам (для точности), но отдает модели полный контекст — родительский блок (пункт СП, раздел таблицы целиком).
Почему критично: ИИ видит полную картину и не может вырвать цифру из контекста. Это изменение архитектуры, а не улучшение промпта.
3. Локальный Reranking: не давайте модели мусор 🧹
Даже хороший поиск может выдать 10 фрагментов, где только 2 отвечают на вопрос. Если скормить всё сразу, модель запутается (эффект «Lost in the Middle»).
Принцип: Добавьте этап переранжирования. Легкая модель (например, локальный BGE-Reranker) оценивает фрагменты и оставляет только топ-3. Только они идут в основную LLM.
Результат: Модель получает выверенную информацию. Риск ошибок снижается кратно.
Чек-лист для построения инженерной системы: ⚙️
Парсинг: Не скармливайте «сырые» PDF. Используйте Marker или Docling — они переводят PDF в Markdown, сохраняя структуру таблиц.
Локальный стек: AnythingLLM Desktop (проще) или Dify (мощнее, требует Docker). Оба поддерживают Qwen 2.5, Llama 3 и гибридный поиск.
Тест: Загрузите сложный СП. Спросите: «Какая толщина защитного слоя для колонн в агрессивной среде по СП 63.13330?». Если ответ без ссылок на пункты — система настроена неправильно.
Главный инсайт: 💡
В инженерном ИИ 80% успеха — это качество подготовки данных и архитектура системы, а не промпт.
Промпт стал интерфейсом. Вы напишете его за 10 секунд. Но если под ним нет RAG с гибридным поиском, parent-child чанкингом и reranking — получите мусор.
Локальный RAG — это не «чат с книгой». Это поисковая система по вашим регламентам, где ИИ генерирует ответ на основе найденных фактов.
🎯 Если впервые сталкиваетесь с термином RAG и хотите разобраться, как построить локальную систему знаний с нуля — ставьте реакции на этот пост.
>50 положительных реакций = триггер для создания подробного пошагового пособия с нуля до работающей системы на вашем ПК.
Кто уже строит системы на базе ИИ, а не просто пишет промпты? Какой стек используете? Делитесь в комментариях 👇
#RAG #ИнженерияСистем #ЛокальныйИИ #AI_Infrastructure #ПТО
AI песочница инженера в Дзене 📱|в МАХ 📲|в VK 📱|в VC|