Syabro About WebDev and Things dan repost
Rejudge — независимая проверка для ИИ-агентов.
https://rejudge.syabro.com/ru/
https://github.com/syabro/rejudge
Выкатываю еще один свой инструмент в паблик
Код, который написал агент, можно проверить четырьмя способами, где каждый следующий способ ловит больше предыдущего:
I. Та же сессия, та же модель.
Агент перечитывает свой код. Он уже решил, что код правильный, и повторное чтение это решение не меняет.
II. Новая сессия, та же модель.
Контекст чистый, модель прежняя. У неё то же обучение и те же привычки, поэтому она пропускает ошибки, которые написала бы сама.
III. Другая модель.
Другая модель действительно находит настоящие ошибки. Но теперь у вас два мнения, и когда они расходятся, решать, кто прав, приходится вам.
Я сделал дальше:
IV. Rejudge: три модели и судья.
Все три модели получают один и тот же вопрос одновременно. Каждая работает в изолированном контексте и сама вызывает инструменты, поэтому ни одна не видит, что делают другие. Судья читает все три отчёта, задаёт уточняющие вопросы там, где они расходятся, и пишет один ответ.
Плюс агент может отправить дозапрос по session-id в Rejudge если есть что-то что не понравилось.
Внутри pi-sdk с поддержкой все провайдеров которые поддерживает Pi.
У меня rejudge работает на OpenCode Go (линк реферальный, $5 вам, $5 мне) за $10. Но честно перестало хватать, ибо стал юзать на любой чих, докупил еще один акк. Если есть альтернатива интереснее подскажите в комментах.
{
"reviewers": [
"opencode-go/deepseek-v4-pro@xhigh",
"opencode-go/minimax-m3@xhigh",
"opencode-go/mimo-v2.5-pro@xhigh"
],
"judge": "opencode-go/glm-5.2@medium"
}
А, и воткните DeepSeek V4 Flash - у меня по работе нельзя использовать модели которые хостятся в китае :(
В комплекте
• rejudge CLI тулза для всех агентов
• /rejudge и /rejudge-diff скиллы для работы с Rejudge в целом и проверки диффов, например перед коммитом или на PR
• Pi-extension с rejudge tool для красивого UI и более кошерной коммуникации агенту.
В комментах отвечу на вопросы.
В планах
• Прогнать на DeepSWE, посмотреть что получится
• Дополировать и выкатить /rejudge-dx-review skill
• Интегрировать мой websearch
Установка тут:
https://rejudge.syabro.com/ru/#install
Как обычно с вас звездочка репе, лайк, шер, репост, подписка, поглатить ближайшего котика, вот это все.
Ваш, @syabro_notes
#opensource #mit
https://rejudge.syabro.com/ru/
https://github.com/syabro/rejudge
Выкатываю еще один свой инструмент в паблик
Код, который написал агент, можно проверить четырьмя способами, где каждый следующий способ ловит больше предыдущего:
I. Та же сессия, та же модель.
Агент перечитывает свой код. Он уже решил, что код правильный, и повторное чтение это решение не меняет.
II. Новая сессия, та же модель.
Контекст чистый, модель прежняя. У неё то же обучение и те же привычки, поэтому она пропускает ошибки, которые написала бы сама.
III. Другая модель.
Другая модель действительно находит настоящие ошибки. Но теперь у вас два мнения, и когда они расходятся, решать, кто прав, приходится вам.
Я сделал дальше:
IV. Rejudge: три модели и судья.
Все три модели получают один и тот же вопрос одновременно. Каждая работает в изолированном контексте и сама вызывает инструменты, поэтому ни одна не видит, что делают другие. Судья читает все три отчёта, задаёт уточняющие вопросы там, где они расходятся, и пишет один ответ.
Плюс агент может отправить дозапрос по session-id в Rejudge если есть что-то что не понравилось.
Внутри pi-sdk с поддержкой все провайдеров которые поддерживает Pi.
У меня rejudge работает на OpenCode Go (линк реферальный, $5 вам, $5 мне) за $10. Но честно перестало хватать, ибо стал юзать на любой чих, докупил еще один акк. Если есть альтернатива интереснее подскажите в комментах.
{
"reviewers": [
"opencode-go/deepseek-v4-pro@xhigh",
"opencode-go/minimax-m3@xhigh",
"opencode-go/mimo-v2.5-pro@xhigh"
],
"judge": "opencode-go/glm-5.2@medium"
}
А, и воткните DeepSeek V4 Flash - у меня по работе нельзя использовать модели которые хостятся в китае :(
В комплекте
• rejudge CLI тулза для всех агентов
• /rejudge и /rejudge-diff скиллы для работы с Rejudge в целом и проверки диффов, например перед коммитом или на PR
• Pi-extension с rejudge tool для красивого UI и более кошерной коммуникации агенту.
В комментах отвечу на вопросы.
В планах
• Прогнать на DeepSWE, посмотреть что получится
• Дополировать и выкатить /rejudge-dx-review skill
• Интегрировать мой websearch
Установка тут:
https://rejudge.syabro.com/ru/#install
Как обычно с вас звездочка репе, лайк, шер, репост, подписка, поглатить ближайшего котика, вот это все.
Ваш, @syabro_notes
#opensource #mit