Репост из: Книжный куб
Sonar и звёздный час верификаторов (Рубрика #AI4SDLC)
Sonar как продукт существует уже почти двадцать лет и всё это время пользовался популярностью в своей нише: статический анализ, quality gates, поиск багов, уязвимостей и code smells. Но теперь у компании началась настоящая пруха. Агенты генерируют код как не в себя - для всех и сразу. Контролировать его качество вручную становится всё сложнее. И тут на сцену выходит Sonar со своими детерминированными правилами. И не только с ними. И вот я посмотрел выступление Тарика Шауката, CEO Sonar, на "AI Engineer World’s Fair", в котором Тарик как раз про это и рассказывал.
Модели способны решать всё более длинные задачи, но надёжность отстаёт. В приведённых Шаукатом данных METR 16–20 часов человеческой работы - это горизонт при 50% вероятности успеха агента. При 80% он сокращается до 3-4 часов. Один из CTO клиентов Sonar заметил: сотрудник с точностью 80% уже оказался бы на performance review. Ещё неприятнее, что функционально правильный код может остаться сложным, уязвимым и дорогим в сопровождении. Краткосрочный рост скорости начинает съедаться ревью и техдолгом.
Ответ Sonar - Agent Centric Development Cycle, или AC/DC (про эту аббревиатуру от Sonar я уже рассказывал, когда говорил о другом их докладе примерно на эту же тему):
- Guide - дать агенту контекст, архитектурные ограничения и quality profile.
- Generate - агент пишет код.
- Verify - детерминированный анализ проверяет потоки данных, секреты и известные паттерны, а агентная проверка — намерение и бизнес-логику.
- Solve - найденные проблемы возвращаются агенту, он исправляет код и запускает цикл заново.
Проверка при этом должна жить не только в CI перед merge. Шаукат говорит о трёх связанных контурах: внутреннем цикле агента, CI verification и постоянном обслуживании кодовой базы. И здесь есть важный поворот: чистый код теперь нужен не только людям. Агенту проще в нём ориентироваться, он тратит меньше токенов и реже ошибается. Правда, цифры Sonar про снижение дефектов и расхода токенов пока остаются данными самого вендора.
Для меня главный вывод в том, что старый добрый статический анализ внезапно становится не наследием прошлого, а инфраструктурой будущего.
#AI #AI4SDLC #Agents #Engineering #DevSecOps #Software
Sonar как продукт существует уже почти двадцать лет и всё это время пользовался популярностью в своей нише: статический анализ, quality gates, поиск багов, уязвимостей и code smells. Но теперь у компании началась настоящая пруха. Агенты генерируют код как не в себя - для всех и сразу. Контролировать его качество вручную становится всё сложнее. И тут на сцену выходит Sonar со своими детерминированными правилами. И не только с ними. И вот я посмотрел выступление Тарика Шауката, CEO Sonar, на "AI Engineer World’s Fair", в котором Тарик как раз про это и рассказывал.
Модели способны решать всё более длинные задачи, но надёжность отстаёт. В приведённых Шаукатом данных METR 16–20 часов человеческой работы - это горизонт при 50% вероятности успеха агента. При 80% он сокращается до 3-4 часов. Один из CTO клиентов Sonar заметил: сотрудник с точностью 80% уже оказался бы на performance review. Ещё неприятнее, что функционально правильный код может остаться сложным, уязвимым и дорогим в сопровождении. Краткосрочный рост скорости начинает съедаться ревью и техдолгом.
Ответ Sonar - Agent Centric Development Cycle, или AC/DC (про эту аббревиатуру от Sonar я уже рассказывал, когда говорил о другом их докладе примерно на эту же тему):
- Guide - дать агенту контекст, архитектурные ограничения и quality profile.
- Generate - агент пишет код.
- Verify - детерминированный анализ проверяет потоки данных, секреты и известные паттерны, а агентная проверка — намерение и бизнес-логику.
- Solve - найденные проблемы возвращаются агенту, он исправляет код и запускает цикл заново.
Проверка при этом должна жить не только в CI перед merge. Шаукат говорит о трёх связанных контурах: внутреннем цикле агента, CI verification и постоянном обслуживании кодовой базы. И здесь есть важный поворот: чистый код теперь нужен не только людям. Агенту проще в нём ориентироваться, он тратит меньше токенов и реже ошибается. Правда, цифры Sonar про снижение дефектов и расхода токенов пока остаются данными самого вендора.
Для меня главный вывод в том, что старый добрый статический анализ внезапно становится не наследием прошлого, а инфраструктурой будущего.
#AI #AI4SDLC #Agents #Engineering #DevSecOps #Software