[2/2] Prompt Engineering for LLMs (Рубрика #AI)
Заканчивая рассказ про книгу о промпт инжиниринге надо рассказать про продвинутые темы, а также поделюсь своими мыслями насчет актуальности книги в 2026 году.
3️⃣ Продвинутые темы: разработка чат-агентов с памятью и инструментами (метод ReAct), разбиение сложных задач на шаги (workflows), оценка качества решений моделью.
8. Conversational Agency - tool use в деталях: как проектировать инструменты (имена/аргументы), разруливать ошибки и опасные действия; reasoning‑паттерны (CoT, ReAct и дальше); контекст для task‑диалогов; сборка агента, управление диалогом и UX.
9. LLM Workflows - когда «чат‑агент» не нужен, а нужен workflow: задачи как кирпичики; реализация через шаблонные промпты или tools; усложнение/вариативность; идея «eval начинается на уровне task»; пример end‑to‑end workflow; продвинутые схемы: agent‑driven workflow, stateful task agents, роли/делегирование.
10. Evaluating LLM Applications - что вообще тестируем; offline: example suites, gold standard / functional testing / LLM‑as‑judge, SOMA; online: A/B и метрики.
11. Looking Ahead - куда всё едет: multimodality, UI/UX как часть качества, рост «интеллекта»/скорости/доступности моделей.
В общем, контента в книге много, но возникает вопрос, а насколько он полезен сейчас (в 2026 году). И действительно с момента выхода книги LLM-технологии шагнули вперёд, и некоторые в 2025-м провозгласили «prompt engineering мёртв». Качество моделей выросло – они всё лучше понимают пользователя даже без хитрых подсказок; кроме того, лучшие техники уже встроены в инструменты (готовые шаблоны промптов). В реальных продуктах поведение модели всё чаще определяется системными настройками или fine-tuning’ом, а не текстом пользовательского запроса. В итоге роль "prompt engineer" вскоре слилась с более широкими ролями AI/LLM-разработчиков.
Однако книга не потеряла ценности – её фундаментальные принципы по-прежнему полезны каждому инженеру. Авторы честно предупреждали, что конкретные API могут устареть, но базовые идеи останутся актуальными. Так и вышло: например, подход RAG теперь повсеместно применяют для подключения знаний модели, а техника chain-of-thought стала стандартным приёмом в современных AI-агентах. А в 2025 году Андрей Карпати ввёл термин «контекст-инжиниринг» – фокус на предоставлении модели полного окружения (данные, история, инструменты) вместо подбора идеальной формулировки запроса. Такой подход требует уметь динамически находить и подставлять нужные сведения, ужимать их под контекстное окно, чётко задавать роли (system/user) и подключать внешние инструменты по мере необходимости. Кроме того, появились практики вроде PromptOps – управление промптами (версионирование, мониторинг качества запросов). А некоторые команды уже пытаются полностью автоматизировать подготовку контекста и инструкций (т.н. workflow-подход).
#AI #DevOps #Software #Engineering #Architecture
Заканчивая рассказ про книгу о промпт инжиниринге надо рассказать про продвинутые темы, а также поделюсь своими мыслями насчет актуальности книги в 2026 году.
3️⃣ Продвинутые темы: разработка чат-агентов с памятью и инструментами (метод ReAct), разбиение сложных задач на шаги (workflows), оценка качества решений моделью.
8. Conversational Agency - tool use в деталях: как проектировать инструменты (имена/аргументы), разруливать ошибки и опасные действия; reasoning‑паттерны (CoT, ReAct и дальше); контекст для task‑диалогов; сборка агента, управление диалогом и UX.
9. LLM Workflows - когда «чат‑агент» не нужен, а нужен workflow: задачи как кирпичики; реализация через шаблонные промпты или tools; усложнение/вариативность; идея «eval начинается на уровне task»; пример end‑to‑end workflow; продвинутые схемы: agent‑driven workflow, stateful task agents, роли/делегирование.
10. Evaluating LLM Applications - что вообще тестируем; offline: example suites, gold standard / functional testing / LLM‑as‑judge, SOMA; online: A/B и метрики.
11. Looking Ahead - куда всё едет: multimodality, UI/UX как часть качества, рост «интеллекта»/скорости/доступности моделей.
В общем, контента в книге много, но возникает вопрос, а насколько он полезен сейчас (в 2026 году). И действительно с момента выхода книги LLM-технологии шагнули вперёд, и некоторые в 2025-м провозгласили «prompt engineering мёртв». Качество моделей выросло – они всё лучше понимают пользователя даже без хитрых подсказок; кроме того, лучшие техники уже встроены в инструменты (готовые шаблоны промптов). В реальных продуктах поведение модели всё чаще определяется системными настройками или fine-tuning’ом, а не текстом пользовательского запроса. В итоге роль "prompt engineer" вскоре слилась с более широкими ролями AI/LLM-разработчиков.
Однако книга не потеряла ценности – её фундаментальные принципы по-прежнему полезны каждому инженеру. Авторы честно предупреждали, что конкретные API могут устареть, но базовые идеи останутся актуальными. Так и вышло: например, подход RAG теперь повсеместно применяют для подключения знаний модели, а техника chain-of-thought стала стандартным приёмом в современных AI-агентах. А в 2025 году Андрей Карпати ввёл термин «контекст-инжиниринг» – фокус на предоставлении модели полного окружения (данные, история, инструменты) вместо подбора идеальной формулировки запроса. Такой подход требует уметь динамически находить и подставлять нужные сведения, ужимать их под контекстное окно, чётко задавать роли (system/user) и подключать внешние инструменты по мере необходимости. Кроме того, появились практики вроде PromptOps – управление промптами (версионирование, мониторинг качества запросов). А некоторые команды уже пытаются полностью автоматизировать подготовку контекста и инструкций (т.н. workflow-подход).
#AI #DevOps #Software #Engineering #Architecture