Собираем бенчмарк своими руками (или руками агентов)

Я недавно рассказывал про свой винный бенчмарк OenoBench, который на собственном датасете из 3000+ вопросов оценивает знания разных LLM в винной сфере.

Сегодня выпустил большую статью на Хабр, где рассказал подробности про этот проект, процесс работы с агентами и большое количество проблем, с которыми я сталкивался. Может быть полезно тем, кто хочет собрать свой бенчмарк или просто попрактиковаться в дрессировке агентов. Приятного чтения!