Агент чинит баги — а сколько это на самом деле стоит?
Ребята из ТестОпс завели ИИ-агента для правки багов и честно посчитали цену вопроса. Спойлер: ускорил разработку — но раздул издержки на поддержку, и всё это упало на тестировщиков. Классика.
Самое сочное — про то, что «мне кажется, стало быстрее» врёт. В эксперименте METR 2025 16 матёрых разработчиков сделали 246 задач и с ИИ провозились на 19% дольше. А сами были уверены, что ускорились на 20%. Вот тебе и чуйка.
Поэтому вместо «ну вроде норм» команда собрала дашборд и меряет живое человеческое время: сколько тестировщик тратит на критерии приёмки, когда приходится звать разработчика (самое дорогое), сколько кругов ревью намотали.
Весь разбор с цифрами — на Хабре.
🔥 — тоже так замерю
🤡 — а мы всё на глаз
@ai_for_dev
Ребята из ТестОпс завели ИИ-агента для правки багов и честно посчитали цену вопроса. Спойлер: ускорил разработку — но раздул издержки на поддержку, и всё это упало на тестировщиков. Классика.
Самое сочное — про то, что «мне кажется, стало быстрее» врёт. В эксперименте METR 2025 16 матёрых разработчиков сделали 246 задач и с ИИ провозились на 19% дольше. А сами были уверены, что ускорились на 20%. Вот тебе и чуйка.
Поэтому вместо «ну вроде норм» команда собрала дашборд и меряет живое человеческое время: сколько тестировщик тратит на критерии приёмки, когда приходится звать разработчика (самое дорогое), сколько кругов ревью намотали.
Весь разбор с цифрами — на Хабре.
🔥 — тоже так замерю
🤡 — а мы всё на глаз
@ai_for_dev