Как измерять AI-продуктивность без самообмана

AI помог разработчику написать код быстрее. Этого недостаточно, чтобы сказать, что разработка стала продуктивнее.

В работе Microsoft The SPACE of AI: Real-World Lessons on AI’s Impact on Developers исследователи опросили более 500 разработчиков, а также провели интервью и наблюдения.

Влияние AI оценивали через модель SPACE:

— Satisfaction — удовлетворённость работой;
— Performance — качество результата;
— Activity — объём выполненных действий;
— Communication and Collaboration — взаимодействие в команде;
— Efficiency and Flow — эффективность и непрерывность работы.

Результаты показательные.

Разработчики действительно отмечают рост эффективности и удовлетворённости — особенно при выполнении рутинных задач.

Но эффект зависит от сложности задачи, способа использования AI и того, насколько инструмент принят всей командой.

А с совместной работой всё менее однозначно.

Допустим, код теперь пишется быстрее. Но одновременно:

— PR становятся больше;
— ревью занимает больше времени;
— растёт число исправлений после ревью;
— обмен знаниями сокращается;
— разработчики хуже понимают код друг друга.

Получили мы прирост продуктивности?

Не факт. Возможно, мы просто перенесли очередь из разработки в ревью.

Поэтому AI-продуктивность нельзя измерять одной метрикой — количеством строк, закрытых задач или временем написания кода.

Я бы смотрел сразу на несколько уровней:

— сколько времени задача проходит от начала до production;
— как изменились размер PR и время ревью;
— стало ли больше возвратов и исправлений;
— что происходит с качеством и количеством дефектов;
— помогает ли AI делиться знаниями или создаёт код, который понимает только его автор;
— как разработчики оценивают нагрузку и удовлетворённость работой.

AI может ускорить отдельную операцию и одновременно замедлить весь поток.

Поэтому измерять нужно не скорость генерации кода, а способность команды быстрее и стабильнее доставлять работающий результат.