Выхожу из декретного творческого отпуска 🛌 и сразу рассказываю свои апдейты и новости, на чём буду сконцентрирован ближайшие 6 месяцев и о чем буду писать на канале

🌟 Исследовательский harness

За последние 2 недели выступил у коллег с этой темой

🔵Сначала рассказал про свой опыт построения такого harness у VTORNIK.Company. Очень камерно пообщались, был приятно удивлён, что эта тема сейчас многим интересна

🔵В прошлую пятницу сходил к друзьям в AI4Dev и рассказал про исследовательский harness в более обзорном виде - про самые актуальные решения и что нас ждет к 2030 году. У выступления есть запись 📈

🔍 обе презентации с выступлением можете посмотреть в комментариях по ссылкам у коллег или тут

🔵А еще в этом семестре веду блок занятий в МФТИ, где центральная тема - это как раз разработка исследовательского harness. Цели и задачи у магистров - по итогам обучения собрать такой harness, который сможет воспроизводить отобранные работы с arxiv 😎

А вдохновением всему этому послужила вот эта публикация arxiv: 2602.12670 - там авторы собрали 47 150 скиллов из трёх экосистем, прогнали 7 308 траекторий в трёх условиях и замерили эффект детерминированными verifier'ами в контейнерах. Без LLM-судьи, поэтому разрез по моделям и доменам честный. Курированные скиллы дают в среднем +16.2 п.п., self-generated в среднем бесполезны, зато маленькая модель со скиллами догоняет большую без них

Вот так вот

#harness@ml_maxim #agents@ml_maxim #meetups@ml_maxim