Сегодня у нас два подхода к роботам — моделирование биологического мозга и обучение с нуля.
С нуля PaLM-E. Это большая часть современных перспективных роботов. Состоит из 3 кусков:
— LLM для оперирования понятиями. Чтобы когда роботу с этой моделью сказали, что он должен намазывать масло, он знал, что такое масло и как намазывать. И примерно догадывался, куда.
— Зрение — видит мир через камеру робота. Там же карты глубины.
— Состояние робота: знает о положении своих суставов, хвата и т.д.
Модель получает команду, например: "Принеси мне синюю баночку масла". Видит камерой стол с предметами, и данные о положении руки робота. Cопоставляет понятие "синяя баночка" с объектом на картинке. Затем создаёт список действий для робота по аналогии с удачными действиями из обучающей выборки.
Она не даёт низкоуровневые команды на моторы, а генерирует план действий ("подвести руку к координатам X, Y", "сжать хват", "поднять руку", "переместить к координатам Z"). Этот план уже исполняется системой управления робота.
Базовая работа, демонстрация.
Понимание возможностей робота — неявное, оно заложено в весах нейросети в процессе обучения. Модель обучается на датасете пар "команда + картинка -> успешное действие". Если робот промажет мимо банки, это будет обратная связь, но не очень сильная. Непрерывного обучения нет, только обновления датасетами и слабые корректировки на лету.
Из-за общей архитектуры модель из текста учится строить внутреннюю модель себя: она хранит токены proprio-состояний и предсказывает их следующие значения.
Модель не понимает физику. В незнакомых ситуациях теряется. Обучающая выборка и способ обучения пока хреновые — изменение в освещении, форме объекта или постановке задачи может всё поломать. Очень мало исходного датасета на скользкие, влажные объекты, всякие тряпки, песок и так далее. При ошибке вы узнаете, что ваш робот отлично танцует брейк-данс.
Второй подход — «виртуальная крыса». Идея в том, чтобы сделать полностью анатомически правдоподобную крысу в симуляторе и поставить ей мозг какой-нибудь современной архитектуры, обученный по записям реальных крысиных движений и данных активации участков мозга.
Типичная методика
1. Лабораторная видеосъёмка: несколько камер + DeepLabCut — траектории суставов живых крыс.
2. Инверсная динамика — моменты в суставах — обучение
3. Проверка: сравнивают активность в виртуальной популяция нейронов мозга с многоканальными нейронограммами реальных имплантированных крыс. Корреляции до 0,75 на движениях.
4. После обучения виртуальная крыса может предсказывать, какие моторные шаблоны появятся у живой крысы в новой задаче (прыжок на платформу, лазание по наклонной).
Обучение через обратную связь. Сначала крысу прёт и тащит, потом она учится стоять, ходить и использовать тело эффективно. Через миллионы проб и ошибок нейросеть начинает понимать закономерности: "Ага, если я пошлю вот такой сигнал на эту группу мышц, то моя задняя лапа оттолкнется, и я продвинусь вперед". Модель не получает готовую инструкцию "у тебя 4 лапы и хвост", она открывает это для себя сама, эмпирически, через взаимодействие с физикой мира.
Работа, апдейт, ещё подход.
Дают песочницу для теста гипотез о причинно-следственных связях: можно выключить цифровые аналоги ядер мозжечка и посмотреть, как изменится походка. Позволяют дешево и этически-корректно повторять эксперименты, которые на реальных животных трудны или невозможны.
Получается источник синтетических данных для обучения роботов, в основном четвероногих.
Недостатки в хреновом моделировании мышц, сенсоров (нет внутреннего уха) и огромной вычислительной сложности (крыса замедлена примерно в 20 раз относительно реальной на совеременных GPU, и это при том, что считается не по нейронам, а по упрощениям и кластеризации). Чтобы научиться энергоэффективным действиям нужно очень долгое обучение без учителя, это тысячи лет реального времени на стандартной конфигурации, поэтому крысы двигаются так же всрато, как знакомые вам робособаки.
--
Вступайте в ряды Фурье! Раз лапы гнутся назад — это не робособаки, это робокузнечики!
С нуля PaLM-E. Это большая часть современных перспективных роботов. Состоит из 3 кусков:
— LLM для оперирования понятиями. Чтобы когда роботу с этой моделью сказали, что он должен намазывать масло, он знал, что такое масло и как намазывать. И примерно догадывался, куда.
— Зрение — видит мир через камеру робота. Там же карты глубины.
— Состояние робота: знает о положении своих суставов, хвата и т.д.
Модель получает команду, например: "Принеси мне синюю баночку масла". Видит камерой стол с предметами, и данные о положении руки робота. Cопоставляет понятие "синяя баночка" с объектом на картинке. Затем создаёт список действий для робота по аналогии с удачными действиями из обучающей выборки.
Она не даёт низкоуровневые команды на моторы, а генерирует план действий ("подвести руку к координатам X, Y", "сжать хват", "поднять руку", "переместить к координатам Z"). Этот план уже исполняется системой управления робота.
Базовая работа, демонстрация.
Понимание возможностей робота — неявное, оно заложено в весах нейросети в процессе обучения. Модель обучается на датасете пар "команда + картинка -> успешное действие". Если робот промажет мимо банки, это будет обратная связь, но не очень сильная. Непрерывного обучения нет, только обновления датасетами и слабые корректировки на лету.
Из-за общей архитектуры модель из текста учится строить внутреннюю модель себя: она хранит токены proprio-состояний и предсказывает их следующие значения.
Модель не понимает физику. В незнакомых ситуациях теряется. Обучающая выборка и способ обучения пока хреновые — изменение в освещении, форме объекта или постановке задачи может всё поломать. Очень мало исходного датасета на скользкие, влажные объекты, всякие тряпки, песок и так далее. При ошибке вы узнаете, что ваш робот отлично танцует брейк-данс.
Второй подход — «виртуальная крыса». Идея в том, чтобы сделать полностью анатомически правдоподобную крысу в симуляторе и поставить ей мозг какой-нибудь современной архитектуры, обученный по записям реальных крысиных движений и данных активации участков мозга.
Типичная методика
1. Лабораторная видеосъёмка: несколько камер + DeepLabCut — траектории суставов живых крыс.
2. Инверсная динамика — моменты в суставах — обучение
3. Проверка: сравнивают активность в виртуальной популяция нейронов мозга с многоканальными нейронограммами реальных имплантированных крыс. Корреляции до 0,75 на движениях.
4. После обучения виртуальная крыса может предсказывать, какие моторные шаблоны появятся у живой крысы в новой задаче (прыжок на платформу, лазание по наклонной).
Обучение через обратную связь. Сначала крысу прёт и тащит, потом она учится стоять, ходить и использовать тело эффективно. Через миллионы проб и ошибок нейросеть начинает понимать закономерности: "Ага, если я пошлю вот такой сигнал на эту группу мышц, то моя задняя лапа оттолкнется, и я продвинусь вперед". Модель не получает готовую инструкцию "у тебя 4 лапы и хвост", она открывает это для себя сама, эмпирически, через взаимодействие с физикой мира.
Работа, апдейт, ещё подход.
Дают песочницу для теста гипотез о причинно-следственных связях: можно выключить цифровые аналоги ядер мозжечка и посмотреть, как изменится походка. Позволяют дешево и этически-корректно повторять эксперименты, которые на реальных животных трудны или невозможны.
Получается источник синтетических данных для обучения роботов, в основном четвероногих.
Недостатки в хреновом моделировании мышц, сенсоров (нет внутреннего уха) и огромной вычислительной сложности (крыса замедлена примерно в 20 раз относительно реальной на совеременных GPU, и это при том, что считается не по нейронам, а по упрощениям и кластеризации). Чтобы научиться энергоэффективным действиям нужно очень долгое обучение без учителя, это тысячи лет реального времени на стандартной конфигурации, поэтому крысы двигаются так же всрато, как знакомые вам робособаки.
--
Вступайте в ряды Фурье! Раз лапы гнутся назад — это не робособаки, это робокузнечики!