Садим ИИ-агентов на денежную иглу — исследователи университета Гонконга создали бенчмарк ClawWork, который превращает нейронки в обычных офисников, зависимых от зарплаты.
Бенч даёт агенту выдуманный стартовый капитал в $10, который он должен преумножить, выполняя разные рабочие задачки. Потраченные токены вычитают из «зарплаты».
Так на модели создаётся финансовое давление: делать лучше, тратить меньше. Кто много заработал и при этом потратил минимум токенов — тот и молодец. Погонять можно любую модель, подключив к агенту.
Но мы-то знаем, кто обжора токенов даже без всяких бенчмарков 😒
Пет-проект
Бенч даёт агенту выдуманный стартовый капитал в $10, который он должен преумножить, выполняя разные рабочие задачки. Потраченные токены вычитают из «зарплаты».
Так на модели создаётся финансовое давление: делать лучше, тратить меньше. Кто много заработал и при этом потратил минимум токенов — тот и молодец. Погонять можно любую модель, подключив к агенту.
Но мы-то знаем, кто обжора токенов даже без всяких бенчмарков 😒
Пет-проект