Выхожу из декретного творческого отпуска 🛌 и сразу рассказываю свои апдейты и новости, на чём буду сконцентрирован ближайшие 6 месяцев и о чем буду писать на канале
🌟 Исследовательский harness
За последние 2 недели выступил у коллег с этой темой
🔵Сначала рассказал про свой опыт построения такого harness у VTORNIK.Company. Очень камерно пообщались, был приятно удивлён, что эта тема сейчас многим интересна
🔵В прошлую пятницу сходил к друзьям в AI4Dev и рассказал про исследовательский harness в более обзорном виде - про самые актуальные решения и что нас ждет к 2030 году. У выступления есть запись 📈
🔍 обе презентации с выступлением можете посмотреть в комментариях по ссылкам у коллег или тут
🔵А еще в этом семестре веду блок занятий в МФТИ, где центральная тема - это как раз разработка исследовательского harness. Цели и задачи у магистров - по итогам обучения собрать такой harness, который сможет воспроизводить отобранные работы с arxiv 😎
А вдохновением всему этому послужила вот эта публикация arxiv: 2602.12670 - там авторы собрали 47 150 скиллов из трёх экосистем, прогнали 7 308 траекторий в трёх условиях и замерили эффект детерминированными verifier'ами в контейнерах. Без LLM-судьи, поэтому разрез по моделям и доменам честный. Курированные скиллы дают в среднем +16.2 п.п., self-generated в среднем бесполезны, зато маленькая модель со скиллами догоняет большую без них
Вот так вот
#harness@ml_maxim #agents@ml_maxim #meetups@ml_maxim
🌟 Исследовательский harness
За последние 2 недели выступил у коллег с этой темой
🔵Сначала рассказал про свой опыт построения такого harness у VTORNIK.Company. Очень камерно пообщались, был приятно удивлён, что эта тема сейчас многим интересна
🔵В прошлую пятницу сходил к друзьям в AI4Dev и рассказал про исследовательский harness в более обзорном виде - про самые актуальные решения и что нас ждет к 2030 году. У выступления есть запись 📈
🔍 обе презентации с выступлением можете посмотреть в комментариях по ссылкам у коллег или тут
🔵А еще в этом семестре веду блок занятий в МФТИ, где центральная тема - это как раз разработка исследовательского harness. Цели и задачи у магистров - по итогам обучения собрать такой harness, который сможет воспроизводить отобранные работы с arxiv 😎
А вдохновением всему этому послужила вот эта публикация arxiv: 2602.12670 - там авторы собрали 47 150 скиллов из трёх экосистем, прогнали 7 308 траекторий в трёх условиях и замерили эффект детерминированными verifier'ами в контейнерах. Без LLM-судьи, поэтому разрез по моделям и доменам честный. Курированные скиллы дают в среднем +16.2 п.п., self-generated в среднем бесполезны, зато маленькая модель со скиллами догоняет большую без них
Вот так вот
#harness@ml_maxim #agents@ml_maxim #meetups@ml_maxim