AI workflow > AI агенты
Всем нравится слушать про агентов, почти на каждом AI engineering интервью проскользнёт вопрос «Ну а агентов вы в продакшн запускали?».
Отвечать, конечно же, надо «Брат, я их не только запускал, но и вертел - люблю агентов, особенно U.N.C.L.E»
Мода называть каждую LLM-based систему агентом создаёт нереалистичные ожидания. Думаю, что нам ещё годы до реально автономных агентов.
___
Пока что замечал 2 антипаттерна:
• Оверинжиниринг мультиагентных систем — комплексные графы с десятками нод, как результат – невозможный мониторинг и дебагинг.
• Кинуть все 40 tool'ов на одного ReAct агента и пусть сам разберётся. Тут идёт ставка на то, что скоро LLM станут настолько умные, что такое количество тулинга перестанет быть для них проблемой. Я такое мнение не разделяю, про грамотный context engineering который с нами на года писал 👉 тут
Всегда стоит начинать с самого простого решения и постепенно его расширять, не нужно использовать технологию только потому что она крутая.
А чо там по агентам?
Менти как-то спрашивали: почему в материалах не так много инфы про построение реальных больших агентов? Ответ тут простой - use кейсов для действительно полезных агентов меньше, чем существующих фреймворков для их построения 😅
Самый очевидный кейс – Customer Support. Тут сходится всё: экономика, толерантность к ошибкам, и текущие LLM реально справляются. Текстовые и голосовые, всё работает более-менее надёжно.
Intercom из декабрьского отчёта OpenAI закрывает 53% звонков без людей, Lowe's удваивает конверсию когда клиенты общаются с их ботом. С личного опыта скажу, что агенты прекрасно заменяют живых операторов, если сделать по уму.
Что работает в остальных случаях
Не агенты, а детерминистичные workflows. ~20% enterprise сообщений в ChatGPT идут через Custom GPTs — специализированные пайплайны с чёткими инструкциями. Пишут, что BBVA (банк такой) использует 4000+ таких штук.
Для интереса посчитал количество упоминания слова workflow в этом репорте в 3 раза выше, чем упоминание agents 🤔
Итого
Прежде чем строить «агентную архитектуру»:
Проверь, подходит ли твой кейс под агентов вообще (саппорт - да, финансовые решения - скорее нет)
Разбей задачу на предсказуемые шаги
Добавляй «агентность» только туда где без неё никак. Не надо дизайнить систему сразу с пятью субагентами в цикличном графе🔫
Самый лучший ресурс для тех кто сейчас на распутье «агент или воркфлоу» антропики еще год назад написали прекрасную статью! Я бы начал с этого.
Пока что так
#ai #dev_help
@makebugger
Всем нравится слушать про агентов, почти на каждом AI engineering интервью проскользнёт вопрос «Ну а агентов вы в продакшн запускали?».
Отвечать, конечно же, надо «Брат, я их не только запускал, но и вертел - люблю агентов, особенно U.N.C.L.E»
Мода называть каждую LLM-based систему агентом создаёт нереалистичные ожидания. Думаю, что нам ещё годы до реально автономных агентов.
___
Пока что замечал 2 антипаттерна:
• Оверинжиниринг мультиагентных систем — комплексные графы с десятками нод, как результат – невозможный мониторинг и дебагинг.
• Кинуть все 40 tool'ов на одного ReAct агента и пусть сам разберётся. Тут идёт ставка на то, что скоро LLM станут настолько умные, что такое количество тулинга перестанет быть для них проблемой. Я такое мнение не разделяю, про грамотный context engineering который с нами на года писал 👉 тут
Всегда стоит начинать с самого простого решения и постепенно его расширять, не нужно использовать технологию только потому что она крутая.
А чо там по агентам?
Менти как-то спрашивали: почему в материалах не так много инфы про построение реальных больших агентов? Ответ тут простой - use кейсов для действительно полезных агентов меньше, чем существующих фреймворков для их построения 😅
Самый очевидный кейс – Customer Support. Тут сходится всё: экономика, толерантность к ошибкам, и текущие LLM реально справляются. Текстовые и голосовые, всё работает более-менее надёжно.
Intercom из декабрьского отчёта OpenAI закрывает 53% звонков без людей, Lowe's удваивает конверсию когда клиенты общаются с их ботом. С личного опыта скажу, что агенты прекрасно заменяют живых операторов, если сделать по уму.
Что работает в остальных случаях
Не агенты, а детерминистичные workflows. ~20% enterprise сообщений в ChatGPT идут через Custom GPTs — специализированные пайплайны с чёткими инструкциями. Пишут, что BBVA (банк такой) использует 4000+ таких штук.
Для интереса посчитал количество упоминания слова workflow в этом репорте в 3 раза выше, чем упоминание agents 🤔
Итого
Прежде чем строить «агентную архитектуру»:
Проверь, подходит ли твой кейс под агентов вообще (саппорт - да, финансовые решения - скорее нет)
Разбей задачу на предсказуемые шаги
Добавляй «агентность» только туда где без неё никак. Не надо дизайнить систему сразу с пятью субагентами в цикличном графе🔫
Самый лучший ресурс для тех кто сейчас на распутье «агент или воркфлоу» антропики еще год назад написали прекрасную статью! Я бы начал с этого.
Пока что так
#ai #dev_help
@makebugger