BaseLine

«Одна партия в NetHack — это десятки тысяч ходов. Жизнь у героя одна, сохранений нет, подземелье каждый раз новое, а игра по дороге ничего не подсказывает. Если вы сыграли плохо, то выясняется это тогда, когда ничего исправить уже нельзя. Когда мы запускаем наших ботов играть, то вторая по частоте причина их "смерти" — голод, потому что они не позаботились о еде за несколько тысяч ходов до финального момента. На таких же ошибках спотыкаются ИИ-агенты, когда пишут код: отдельный шаг они выполняют прекрасно, а на длинную дистанцию держать планку не могут. И NetHack в этом плане становится весьма полезной для обучения ИИ».

Архитектуры Vision-Language-Action (VLA) в последние годы показали высокую результативность в задачах роботизированной манипуляции, однако их дальнейшее масштабирование во многом ограничивается доступностью обучающих данных.

В отличие от языковых и визуальных моделей, для которых существуют массивные наборы данных, сбор роботизированных траекторий требует использования реального оборудования, телеоперации и значительных временных затрат. В связи с этим человеческие эгоцентричные видео рассматриваются как значительно более масштабируемый источник данных о взаимодействии с физическим миром.

При этом непосредственное использование человеческих данных для обучения робота осложняется различиями в кинематике, морфологии и пространстве действий человека и робота.

Современные подходы решают эту проблему либо за счёт преобразования человеческих движений и построения унифицированного представления действий, либо используя эгоцентричные видео для обучения более общих представлений о динамике окружающего мира, которые затем могут быть перенесены между различными embodiment.

На ROS Meetup. Там я пообщался со студентами и сотрудниками Центра, они рассказали про проекты внутри ЦКМ и про магистерскую программу. Решил поступать именно сюда, так как многие темы были близки с моей научной и профессиональной деятельностью.

Меня привлёк разнообразный набор дисциплин: можно глубоко погрузиться в предметную область, разобраться в современных SOTA-методах и в дальнейшем начать писать научные статьи. Также для меня важно, что преподаватели — это действующие исследователи, публикующие A* статьи, которые делятся своим опытом и всегда открыты к сотрудничеству и нетворкингу. Отдельно привлекает техническая возможность работать с реальными роботами и оборудованием, чтобы проверять свои гипотезы не только в симуляции, но и на железе.