🙂🙁 Может ли ИИ понять по едва заметным жестовым маркерам без единого слова распознать эмоции человека? У нас есть ответ.

В рамках международного соревнования MiGA 2025 на базе IJCAI мы разработали две системы, которые анализируют видео и распознают:

✔️Микрожесты - мельчайшие движения рук и пальцев (всего 32 класса жестов);
✔️Эмоции по поведению - позитивное или негативное состояние, определенное исходя из движений тела и мимики.

В чём сложность? Обычные модели видят либо картинку, либо скелет человека, и работают с чем-то одним. Мы научили нашу систему объединять оба потока информации: видеоряд и трехмерные координаты суставов. Для этого был разработан специальный модуль слияния, который находит связи между визуальными признаками и позой тела в каждый момент времени. Дополнительно модель накапливает «память» о типичных представителях каждого класса жестов и уточняет свои предсказания, сравнивая новые примеры с уже изученными.

Для распознавания эмоций система одновременно анализирует общий контекст видео и детали лица через отдельные потоки, которые постепенно обмениваются информацией друг с другом, так же, как разные отделы нашего мозга работают совместно при считывании чужих чувств.

🥈В треке по распознаванию эмоций мы заняли 2-е место среди всех участников соревнования.

Такие технологии открывают путь к системам, которые могут понимать эмоциональное состояние человека в самых разных реальных сценариях: от клинической диагностики до адаптивных интерфейсов и систем обратной связи.

🔬 Наш сайт
😌 Наш ТГ