Кросс-ревью разными моделями
Представьте свой типичный флоу работы с агентом, делаете работу с кодом, текстом или документом. В голове уже есть контекст, ограничения, крайние сценарии и представление о нормальном результате, бизнес-требования и так далее.
По ходу работы модель не всегда может правильно понять зарос и учесть всё то, что вы держите в голове, хотя чаще конечно вы просто не всегда можете сформулировать все детали. Где-то она неверно понимает приоритет, где-то не замечает крайний случай, где-то просто забивает болт, а где-то предлагает решение, которое выглядит убедительно, но на практике не работает.
И да, после нескольких таких итераций легко дойти до гипотез про Anthropic, намеренно заложенные баги и желание вытянуть из пользователей больше токенов.
Самый простой способ снизить количество таких ошибок это проводить кросс-ревью. Это подход, при котором одну и ту же работу оценивают разные модели и разные агенты.
В моем случае кросс-ревью выполняется дважды, сначала оркестратор получает задачу и придумывает план, потом ревью плана, потом реализация по SDD, потом прогонка всех тестов в том числе и перфоманс, потом опять ревью, но уже результата.
Раньше я делал это просто промтами. Описывал в оркестраторе какие агенты и модели нужно вызывать для кросс-ревью, что и как проверять, как оценивать. Результат мне понравился настолько, что я сделал для Coddy Agent специального агента-координатора и скил, который его запускает.
Схема простая. Один и тот же brief с diff, целью изменения и форматом ответа отправляется нескольким независимым ревьюерам. Они не видят ответы друг друга, поэтому не начинают повторять чужие выводы. Затем агент-координатор собирает результаты, проверяет каждое замечание по коду и решает, что действительно стоит исправить.
Важный нюансик, что это не голосование и не кворум, используя данный скил агенты дают независимую оценку, один подтверждённый баг важнее пяти общих рекомендаций.
Решение оказалось настолько удобным, что я вынес его в отдельный переносимый скил.
Теперь crossreview можно использовать не только в Coddy. Его можно подключить к Claude Code, Codex, Cursor, OpenCode, Devin, Kimi и другим кодовым агентам, которые умеют читать SKILL.md и запускать команды в shell.
В Coddy этот скил уже входит в стандартную поставку.
Репозиторий и установка - https://github.com/EvilFreelancer/crossreview
Представьте свой типичный флоу работы с агентом, делаете работу с кодом, текстом или документом. В голове уже есть контекст, ограничения, крайние сценарии и представление о нормальном результате, бизнес-требования и так далее.
По ходу работы модель не всегда может правильно понять зарос и учесть всё то, что вы держите в голове, хотя чаще конечно вы просто не всегда можете сформулировать все детали. Где-то она неверно понимает приоритет, где-то не замечает крайний случай, где-то просто забивает болт, а где-то предлагает решение, которое выглядит убедительно, но на практике не работает.
И да, после нескольких таких итераций легко дойти до гипотез про Anthropic, намеренно заложенные баги и желание вытянуть из пользователей больше токенов.
Самый простой способ снизить количество таких ошибок это проводить кросс-ревью. Это подход, при котором одну и ту же работу оценивают разные модели и разные агенты.
В моем случае кросс-ревью выполняется дважды, сначала оркестратор получает задачу и придумывает план, потом ревью плана, потом реализация по SDD, потом прогонка всех тестов в том числе и перфоманс, потом опять ревью, но уже результата.
Раньше я делал это просто промтами. Описывал в оркестраторе какие агенты и модели нужно вызывать для кросс-ревью, что и как проверять, как оценивать. Результат мне понравился настолько, что я сделал для Coddy Agent специального агента-координатора и скил, который его запускает.
Схема простая. Один и тот же brief с diff, целью изменения и форматом ответа отправляется нескольким независимым ревьюерам. Они не видят ответы друг друга, поэтому не начинают повторять чужие выводы. Затем агент-координатор собирает результаты, проверяет каждое замечание по коду и решает, что действительно стоит исправить.
Важный нюансик, что это не голосование и не кворум, используя данный скил агенты дают независимую оценку, один подтверждённый баг важнее пяти общих рекомендаций.
Решение оказалось настолько удобным, что я вынес его в отдельный переносимый скил.
Теперь crossreview можно использовать не только в Coddy. Его можно подключить к Claude Code, Codex, Cursor, OpenCode, Devin, Kimi и другим кодовым агентам, которые умеют читать SKILL.md и запускать команды в shell.
В Coddy этот скил уже входит в стандартную поставку.
Репозиторий и установка - https://github.com/EvilFreelancer/crossreview