10 месяцев с Copilot Coding Agent в .NET: 878 PR и смена роли разработчика
Команда .NET экспериментировала с CCA в репозитории dotnet/runtime — одном из самых сложных open-source проектов. Результат: 535 принятых PR (67,9% успеха против 87,1% у людей Microsoft), 95 тысяч строк добавлено, 31 тысяча удалена. CCA берёт на себя рутину: удаление кода (84,7%), написание тестов (75,6%), баг-фиксы (69,4%). Сложнее всего — нативный код (C++), платформозависимые части и задачи на производительность (54,5%). Главный урок: после добавления подробных инструкций по сборке, тестированию и архитектурным соглашениям успешность выросла с 38% до 69%.
Ключевое изменение — роль разработчика. Когда человек подправляет код агента напрямую, успешность PR подскакивает до 86%. CCA теперь создаёт 77% PR одного из ведущих мейнтейнеров, а сам он тратит время на ревью, проектирование и сложные задачи. Генерация PR опережает возможности ревью — это новый вызов для команд.
Детали с графиками и примерами — в статье: https://devblogs.microsoft.com/dotnet/ten-months-with-cca-in-dotnet-runtime/
Команда .NET экспериментировала с CCA в репозитории dotnet/runtime — одном из самых сложных open-source проектов. Результат: 535 принятых PR (67,9% успеха против 87,1% у людей Microsoft), 95 тысяч строк добавлено, 31 тысяча удалена. CCA берёт на себя рутину: удаление кода (84,7%), написание тестов (75,6%), баг-фиксы (69,4%). Сложнее всего — нативный код (C++), платформозависимые части и задачи на производительность (54,5%). Главный урок: после добавления подробных инструкций по сборке, тестированию и архитектурным соглашениям успешность выросла с 38% до 69%.
Ключевое изменение — роль разработчика. Когда человек подправляет код агента напрямую, успешность PR подскакивает до 86%. CCA теперь создаёт 77% PR одного из ведущих мейнтейнеров, а сам он тратит время на ревью, проектирование и сложные задачи. Генерация PR опережает возможности ревью — это новый вызов для команд.
Детали с графиками и примерами — в статье: https://devblogs.microsoft.com/dotnet/ten-months-with-cca-in-dotnet-runtime/