Рассказываем про доклады сотрудников лаборатории на DataFest 2026:
1) 30.05, СПб - https://ods.ai/events/fest2026-spb/schedule
В секции про Agentic LLM:
Алина Жидковская - "AutoJudge - динамическая генерация llm-as-judge для валидации агентных пайплайнов"
Оценка мультиагентных систем (MAS) требует анализа на разных уровнях - от поведения отдельных агентов до всего пайплайна. Существующие подходы с разметкой или одним LLM-оценщиком плохо справляются и требуют долгой настройки, в зависимости от оцениваемой системы. Мы предлагаем AutoJudge - не требующий разметки фреймворк, в котором оценщики не фиксированы, а динамически генерируются мета-агентом на основе трейса выполнения и контекста задачи. Это позволяет адаптировать критерии оценки под конкретный сценарий. Благодаря этому, AutoJudge может работать с любыми типами оценок - достаточно указать, какие аспекты необходимо оценивать, либо просто указать желаемый формат output-a. Он легко переносится на различные judge-бенчмарки, такие как TRAIL, Who and When и MAST, без необходимости настройки под каждый из них. Экспериментально показано, что такой подход превосходит существующие популярные judge-методы и демонстрирует более высокое качество оценки.
Недавно подали на эту тему статью на воркшоп ICML, сейчас готовим обновленную версию на EMNLP.
2) 31.05, онлайн - https://ods.ai/events/df2026-31-may-online
В секции ML & Education:
Андрей Гетманов - "OSA Edu: Как мы разработали и внедрили систему проверки кода в студенческих работах"
Сейчас одного отчёта по учебной работе недостаточно: для объективной оценки нужно проверить и код, написанный студентами. Я расскажу, как мы в ИТМО меняем подход к оценке студенческих работ. Особое внимание уделю нашему проекту OSA.Edu - системе, которая помогает преподавателю оценить качество выполненной работы. OSA.Edu оценивает качество оформления студенческого репозитория и степень соответствия текстов студенческих работ реализованному коду. Расскажу, как мы собирали датасет, как разрабатывали, тестировали и внедряли систему, а также с какими трудностями столкнулись в процессе.
Кстати, скоро студенты ФТИИ ИТМО получат первые результаты проверки воспроизводимости кода в их выпускных работах.
Также, мы традиционно организуем секцию про открытый код - её программу можно посмотреть тут.
За анонсами прочих секций конференции можно следить в https://t.me/datafest
1) 30.05, СПб - https://ods.ai/events/fest2026-spb/schedule
В секции про Agentic LLM:
Алина Жидковская - "AutoJudge - динамическая генерация llm-as-judge для валидации агентных пайплайнов"
Оценка мультиагентных систем (MAS) требует анализа на разных уровнях - от поведения отдельных агентов до всего пайплайна. Существующие подходы с разметкой или одним LLM-оценщиком плохо справляются и требуют долгой настройки, в зависимости от оцениваемой системы. Мы предлагаем AutoJudge - не требующий разметки фреймворк, в котором оценщики не фиксированы, а динамически генерируются мета-агентом на основе трейса выполнения и контекста задачи. Это позволяет адаптировать критерии оценки под конкретный сценарий. Благодаря этому, AutoJudge может работать с любыми типами оценок - достаточно указать, какие аспекты необходимо оценивать, либо просто указать желаемый формат output-a. Он легко переносится на различные judge-бенчмарки, такие как TRAIL, Who and When и MAST, без необходимости настройки под каждый из них. Экспериментально показано, что такой подход превосходит существующие популярные judge-методы и демонстрирует более высокое качество оценки.
Недавно подали на эту тему статью на воркшоп ICML, сейчас готовим обновленную версию на EMNLP.
2) 31.05, онлайн - https://ods.ai/events/df2026-31-may-online
В секции ML & Education:
Андрей Гетманов - "OSA Edu: Как мы разработали и внедрили систему проверки кода в студенческих работах"
Сейчас одного отчёта по учебной работе недостаточно: для объективной оценки нужно проверить и код, написанный студентами. Я расскажу, как мы в ИТМО меняем подход к оценке студенческих работ. Особое внимание уделю нашему проекту OSA.Edu - системе, которая помогает преподавателю оценить качество выполненной работы. OSA.Edu оценивает качество оформления студенческого репозитория и степень соответствия текстов студенческих работ реализованному коду. Расскажу, как мы собирали датасет, как разрабатывали, тестировали и внедряли систему, а также с какими трудностями столкнулись в процессе.
Кстати, скоро студенты ФТИИ ИТМО получат первые результаты проверки воспроизводимости кода в их выпускных работах.
Также, мы традиционно организуем секцию про открытый код - её программу можно посмотреть тут.
За анонсами прочих секций конференции можно следить в https://t.me/datafest