Research Insights Made Simple #17 - Measuring the Impact of Early-2025 AI on Developer Productivity (Рубрика #DevEx)
Разбор отчета METR "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", где показано замедление разработчиков при использовании AI. Методология мне показалось хоть и интересной, но объем выборки аж в 16 инженеров казался мне маловатым для того, чтобы делать громкие заявления о замедлении разработки. Правда, такой размер выборки не помешал многим журналистом активно писать про это исследование. В итоге, я позвл в гости Артема Арюткина, СРО платформы для разработчиков в Городских сервисах Яндекса, вместе с которым мы обсудили все плюсы и минусы этого исследования.
Вот примерный список тем, что мы успели обсудить за 40+ минут
- Введение, анонс METR и бенчмарка
- Знакомство с гостем
- Спонсор исследования и возможная предвзятость
- Как устроен эксперимент
- Гипотезы о мотивах и дизайне исследования
- Оценка и самооценка задач участниками
- Набор участников и требования к ним
- Ограничения масштаба и методологии
- Цифры: 246 задачи от 1 до 8 часов по длительности, 16 инженеров в исследовании
- Пять факторов замедления работы
- Контекст, интеграция и коммуникации как узкое место
- Как работать с инструментом по уровням сложности
- Почему моделям сложно применять изменения в реальном коде
- Итоги бенчмарков и ограниченность генерализации
Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.
P.S.
На Big Tech Night в ближайшую пятницу Станислав Моисеев, мой коллега, что руководит RnD центром, расскажет про разные подходы к измерению developer productivity в общем, а также то, как померить влияние Gen AI на это. Если тема вам интересна, то регистрируйтесь и приходите послушать.
#Software #Engineering #Metrics #Databases #Architecture #Devops
Разбор отчета METR "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", где показано замедление разработчиков при использовании AI. Методология мне показалось хоть и интересной, но объем выборки аж в 16 инженеров казался мне маловатым для того, чтобы делать громкие заявления о замедлении разработки. Правда, такой размер выборки не помешал многим журналистом активно писать про это исследование. В итоге, я позвл в гости Артема Арюткина, СРО платформы для разработчиков в Городских сервисах Яндекса, вместе с которым мы обсудили все плюсы и минусы этого исследования.
Вот примерный список тем, что мы успели обсудить за 40+ минут
- Введение, анонс METR и бенчмарка
- Знакомство с гостем
- Спонсор исследования и возможная предвзятость
- Как устроен эксперимент
- Гипотезы о мотивах и дизайне исследования
- Оценка и самооценка задач участниками
- Набор участников и требования к ним
- Ограничения масштаба и методологии
- Цифры: 246 задачи от 1 до 8 часов по длительности, 16 инженеров в исследовании
- Пять факторов замедления работы
- Контекст, интеграция и коммуникации как узкое место
- Как работать с инструментом по уровням сложности
- Почему моделям сложно применять изменения в реальном коде
- Итоги бенчмарков и ограниченность генерализации
Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.
P.S.
На Big Tech Night в ближайшую пятницу Станислав Моисеев, мой коллега, что руководит RnD центром, расскажет про разные подходы к измерению developer productivity в общем, а также то, как померить влияние Gen AI на это. Если тема вам интересна, то регистрируйтесь и приходите послушать.
#Software #Engineering #Metrics #Databases #Architecture #Devops