А сможете доказать ROI от AI в разработке?
Продолжаю разбирать выступления Егора Денисова-Бланша (Yegor Denisov-Blanch) и сейчас разберем его выступление на конференции AI Engineer Code Summit 2025 в Нью-Йорке с таким провокационным вопросом :-)
Ох, и поверьте, разбираю я все это не просто так: готовится кое-что интересное для вас😉
Доклад основан на результате двухлетнего исследования влияния AI-инструментов на продуктивность разработчиков, охватывающего 120 000+ разработчиков в 600+ компаниях (ох какие вкусные цифры тут).
И я все размышлял об этом видео и думал, о чем же оно?
И как будто это видео - диагноз или наоборот индульгениця всем нам: мы видим рост продуктивности от AI локально, но как, блин, повысить эффективность на круг и посчитать экономику? Че там по ROI?
1.
Качество от использования AI зависит от индекса чистоты окружения: качество кода, документации, модульность кода и т.п. В общем, техдолг и тут мешает. Так что бегом проверять, что у вас там с ним.
2.
Использование AI = рост энтропии/тех.долга. Так что, давайте попросим ребят инженеров засучить рукава и следить за качеством кода, генерируемого AI.
3.
Много токенов не равно, что вы молодцы и получаете нужные эффекты. При росте свыше 10 млн.токенов на инженера эффекта уже не наблюдается, скорее даже такие команды показывают результаты хуже.
Моя гипотеза тут в том, что это говорит о низком качестве того самого индекса чистоты окружения => много токенов тратится на контекст.
4.
Средний прирост продуктивности составил 10%. Однако, есть значительная разница между лидерами и остальными.
Ииии самое важное, как мерить-то Егор нам предлагает:
Engineering Output - собственно говоря, та самая продуктивность. Если я верно понимаю, то Денис тут предлагает использовать их же ML модель про которую я уже рассказывал: модель, симулирующая оценку 10-15 экспертов, позволяющая оценить ретроспективно сложность решеной задачи.
Конечно, не стоит забывать и про Guardrail metrics и Егор о них не забыл:
Rework & Refactoring, Code Quality & Risk, People & DevOps
Мне прямо очень нравятся мысли Егора, но сам подход все больше напоминает хм…прогрев аудитории перед запуском чего-то, а-ля консалтинга и т.п.😁
А у вас уже был опыт расчета эффектов от AI?
😭 - это я не плачу, это мне «Эксель в глаз попал»: считал и вовсю
🔥 - прямо сейчас в процессе
🦄 - пока «естественный» тренируем
Продолжаю разбирать выступления Егора Денисова-Бланша (Yegor Denisov-Blanch) и сейчас разберем его выступление на конференции AI Engineer Code Summit 2025 в Нью-Йорке с таким провокационным вопросом :-)
Ох, и поверьте, разбираю я все это не просто так: готовится кое-что интересное для вас😉
Доклад основан на результате двухлетнего исследования влияния AI-инструментов на продуктивность разработчиков, охватывающего 120 000+ разработчиков в 600+ компаниях (ох какие вкусные цифры тут).
И я все размышлял об этом видео и думал, о чем же оно?
И как будто это видео - диагноз или наоборот индульгениця всем нам: мы видим рост продуктивности от AI локально, но как, блин, повысить эффективность на круг и посчитать экономику? Че там по ROI?
1.
Качество от использования AI зависит от индекса чистоты окружения: качество кода, документации, модульность кода и т.п. В общем, техдолг и тут мешает. Так что бегом проверять, что у вас там с ним.
2.
Использование AI = рост энтропии/тех.долга. Так что, давайте попросим ребят инженеров засучить рукава и следить за качеством кода, генерируемого AI.
3.
Много токенов не равно, что вы молодцы и получаете нужные эффекты. При росте свыше 10 млн.токенов на инженера эффекта уже не наблюдается, скорее даже такие команды показывают результаты хуже.
Моя гипотеза тут в том, что это говорит о низком качестве того самого индекса чистоты окружения => много токенов тратится на контекст.
4.
Средний прирост продуктивности составил 10%. Однако, есть значительная разница между лидерами и остальными.
Ииии самое важное, как мерить-то Егор нам предлагает:
Engineering Output - собственно говоря, та самая продуктивность. Если я верно понимаю, то Денис тут предлагает использовать их же ML модель про которую я уже рассказывал: модель, симулирующая оценку 10-15 экспертов, позволяющая оценить ретроспективно сложность решеной задачи.
Конечно, не стоит забывать и про Guardrail metrics и Егор о них не забыл:
Rework & Refactoring, Code Quality & Risk, People & DevOps
Мне прямо очень нравятся мысли Егора, но сам подход все больше напоминает хм…прогрев аудитории перед запуском чего-то, а-ля консалтинга и т.п.😁
А у вас уже был опыт расчета эффектов от AI?
😭 - это я не плачу, это мне «Эксель в глаз попал»: считал и вовсю
🔥 - прямо сейчас в процессе
🦄 - пока «естественный» тренируем