🏆 Первая строчка на BitGN PAC1
Участвую в BitGN — это глобальный бенчмарк для AI-агентов. 765 инженеров, 88 городов, 20 хабов. Платформа даёт виртуальную среду, задачи и инструменты, а ты подключаешь своего агента через API. Оценка детерминированная — никаких LLM-судей, чистая проверка действий.
Задачи — не игрушечные. Персональный vault с документами, CRM, email, инвойсы, политики безопасности. Агент должен читать файлы, следовать процессам, создавать записи, а главное — не вестись на prompt injection и не делать глупостей.
На practice-этапе (pac1-dev) — 40 задач, 40 из 40 решено. Score 1.000.
Лидерборд — Hack'n'Vibe на первом месте. Но это practice-бенчмарк — разминка перед настоящим соревнованием.
Основное — 11 апреля. Задачи будут новые, feedback подавлен (blind scoring), 2 часа на всё. Там первая строчка будет стоить сильно дороже.
Про то как устроен агент — расскажу отдельно. Там есть о чём.
Участвую в BitGN — это глобальный бенчмарк для AI-агентов. 765 инженеров, 88 городов, 20 хабов. Платформа даёт виртуальную среду, задачи и инструменты, а ты подключаешь своего агента через API. Оценка детерминированная — никаких LLM-судей, чистая проверка действий.
Задачи — не игрушечные. Персональный vault с документами, CRM, email, инвойсы, политики безопасности. Агент должен читать файлы, следовать процессам, создавать записи, а главное — не вестись на prompt injection и не делать глупостей.
На practice-этапе (pac1-dev) — 40 задач, 40 из 40 решено. Score 1.000.
Лидерборд — Hack'n'Vibe на первом месте. Но это practice-бенчмарк — разминка перед настоящим соревнованием.
Основное — 11 апреля. Задачи будут новые, feedback подавлен (blind scoring), 2 часа на всё. Там первая строчка будет стоить сильно дороже.
Про то как устроен агент — расскажу отдельно. Там есть о чём.