🤖
В России появилась своя "арена" для оценки моделей управления роботамиЕё разработали в Институте AIRI. VLA Arena позволяет запускать роботов в виртуальной среде, а также подключать реальные устройства: сейчас поддерживаются компактные манипуляторы LeRobot SO-100 и SO-101 от Hugging Face.
Если у пользователя нет робота, он может сравнивать модели в виртуальной среде, а если робот есть — подключить его и проверить, как различные модели управляют его действиями.
Так можно легко оценить, какие VLA-сборки лучше всего подходят к конкретному "железу".
Аналоги, вроде RoboArena от учёных из Беркли и Стэнфорда, оперируют роботами, стоимость которых исчисляется десятками тысяч долларов. Воспользоваться ими можно только в исследовательских лабораториях. VLA Arena же адаптирована специально для демократичных LeRobot стоимостью до 30 тысяч рублей.
Сейчас для тестов доступны открытые VLA-модели (Vision-Language-Action):
▪️ π0.5 от Physical Intelligence
▪️ SmolVLA от Hugging Face
▪️ Flower от Intuitive Robots Lab и Microsoft Research
▪️ "Русифицированная" π0.5, адаптированная в AIRI
Они обладают способностью понимать и выполнять инструкции на естественном языке. Такие модели могут работать в различных сценариях, включая сложные задачи, требующие обобщения и анализа контекста.
Пользователи могут оценивать производительность моделей в различных сценариях, в том числе на русском языке. Итоговые оценки в рейтинге будут основаны на рандомизированных тестах.
Платформа также содержит чистые датасеты для LeRobot из открытых источников, размеченные и переведённые на русский язык для помощи разработчикам в обучении собственных моделей для LeRobot.
Первый запуск платформы рассчитан на срок до 3 месяцев, разработчики будут собирать обратную связь. Тестовый доступ открыли буквально только что:
попробовать VLA Arena можно уже сейчас.@anti_agi
