Как понять, что агенты в команде реально заработали
Эффект от AI-агента распределен по сотне мелких задач: SQL тут, дашборд там, презентация, ответ продакту. В новом выпуске «Доверительного интервала» аналитики Яндекса рассказали, как они это измеряют у себя.
Схема такая:
— основные метрики — adoption (доля аналитиков, которые пользуются инструментами) и время сессий с агентами;
— взяли топ-10 самых активных пользователей;
— их средние показатели сделали целевым ориентиром для остальной команды.
И adoption здесь не самоцель, а важная практика на старте внедрения ИИ: сначала нужно, чтобы им начали пользоваться, и только потом смотреть на эффект. Ориентир при этом понятный и достижимый — это не абстрактная планка сверху, а уровень, которого коллеги уже добились на практике.
Из выпуска еще понравился пример «антиобучения» для менеджеров: им показали, как данные без описания приводят к неверным выводам, а затем — как выглядит корректная работа с хорошо описанной таблицей. Чтобы менеджеры могли самостоятельно получать ответы на свои вопросы, для них собирают набор проверенных SQL-запросов и каталог метрик. При этом результаты всё равно проходят проверку у аналитиков.
Открытый вопрос на следующие кварталы ставят так: как строить валидацию, когда self-service уйдёт в массы. Рабочая страховка на сегодня простая: результат агента всегда проверяет аналитик, а ответственность за вывод остаётся на человеке.
Эффект от AI-агента распределен по сотне мелких задач: SQL тут, дашборд там, презентация, ответ продакту. В новом выпуске «Доверительного интервала» аналитики Яндекса рассказали, как они это измеряют у себя.
Схема такая:
— основные метрики — adoption (доля аналитиков, которые пользуются инструментами) и время сессий с агентами;
— взяли топ-10 самых активных пользователей;
— их средние показатели сделали целевым ориентиром для остальной команды.
И adoption здесь не самоцель, а важная практика на старте внедрения ИИ: сначала нужно, чтобы им начали пользоваться, и только потом смотреть на эффект. Ориентир при этом понятный и достижимый — это не абстрактная планка сверху, а уровень, которого коллеги уже добились на практике.
Из выпуска еще понравился пример «антиобучения» для менеджеров: им показали, как данные без описания приводят к неверным выводам, а затем — как выглядит корректная работа с хорошо описанной таблицей. Чтобы менеджеры могли самостоятельно получать ответы на свои вопросы, для них собирают набор проверенных SQL-запросов и каталог метрик. При этом результаты всё равно проходят проверку у аналитиков.
Открытый вопрос на следующие кварталы ставят так: как строить валидацию, когда self-service уйдёт в массы. Рабочая страховка на сегодня простая: результат агента всегда проверяет аналитик, а ответственность за вывод остаётся на человеке.