Про наблюдаемость AI-агентов и infra.conf 2026
Итак, у вас в компании появились AI-агенты. В один прекрасный летний вечер вам звонит руководитель и говорит, что в продакшене взбесился один важный агент и делает не пойми что. Ваши действия?
Не, серьезно, как вы будете дебажить работу этого AI-агента?
- Ок, наверно посмотрите на его логи. А в логах треш и угар: все промпты, ответы модели, вызовы и ответы тулов в километровых json-ах. Причем часть логов от тулов вообще лежит в другой системе мониторинга (их же делала другая команда). Удачи разобраться.
- Хотя почему сразу логи? Кто-то сначала пойдет смотреть метрики. И даже увидит там немало интересных данных - расход токенов, кол-во ошибок, тайминги. Вот только метрики оказались очень шумные, показатели сильно прыгают. Оно и понятно, ведь для одних задач агенту нужно сделать 5 шагов, а для других 25 - а метрики замеряются одни и те же. Да и конкретный кейс дебажить по агрегированным метрикам не получится.
- Ладно, у вас же есть трейсы (есть же?). И вот по трейсам что-то начинает проясняться. Вы видите, что было в контексте у агента, что ему ответили тулы, и вам даже не надо парсить глазами полотно json'ов. По трейсам вы видите, что один из тулов ответил ошибкой, а системный промпт вашего агента не подразумевал, что данных от этого тула может не быть, они слишком нужные. Вот все и поехало. Дело раскрыто.
На самом деле тема наблюдаемости и мониторинга AI-агентов намного шире и сложнее этого кейса. И ее роль растет с ростом внедрения AI в компаниях. И в последний год я неплохо закопался в нее, а 4 июня и вовсе буду рассказывать доклад на тему "Особенности observability LLM-приложений и агентов" на infra.conf'26. На большой инфраструктурной конференции от Яндекса. Участие бесплатное, но надо зарегистрироваться.
Приходите или подключайтесь послушать (не только меня, конечно)!
P.S. Для канала сделаю пару постов с саммари и полезной выжимкой.
Итак, у вас в компании появились AI-агенты. В один прекрасный летний вечер вам звонит руководитель и говорит, что в продакшене взбесился один важный агент и делает не пойми что. Ваши действия?
Не, серьезно, как вы будете дебажить работу этого AI-агента?
- Ок, наверно посмотрите на его логи. А в логах треш и угар: все промпты, ответы модели, вызовы и ответы тулов в километровых json-ах. Причем часть логов от тулов вообще лежит в другой системе мониторинга (их же делала другая команда). Удачи разобраться.
- Хотя почему сразу логи? Кто-то сначала пойдет смотреть метрики. И даже увидит там немало интересных данных - расход токенов, кол-во ошибок, тайминги. Вот только метрики оказались очень шумные, показатели сильно прыгают. Оно и понятно, ведь для одних задач агенту нужно сделать 5 шагов, а для других 25 - а метрики замеряются одни и те же. Да и конкретный кейс дебажить по агрегированным метрикам не получится.
- Ладно, у вас же есть трейсы (есть же?). И вот по трейсам что-то начинает проясняться. Вы видите, что было в контексте у агента, что ему ответили тулы, и вам даже не надо парсить глазами полотно json'ов. По трейсам вы видите, что один из тулов ответил ошибкой, а системный промпт вашего агента не подразумевал, что данных от этого тула может не быть, они слишком нужные. Вот все и поехало. Дело раскрыто.
На самом деле тема наблюдаемости и мониторинга AI-агентов намного шире и сложнее этого кейса. И ее роль растет с ростом внедрения AI в компаниях. И в последний год я неплохо закопался в нее, а 4 июня и вовсе буду рассказывать доклад на тему "Особенности observability LLM-приложений и агентов" на infra.conf'26. На большой инфраструктурной конференции от Яндекса. Участие бесплатное, но надо зарегистрироваться.
Приходите или подключайтесь послушать (не только меня, конечно)!
P.S. Для канала сделаю пару постов с саммари и полезной выжимкой.