✴️ Google выпустила ИИ-модель для перевода языка жестов в текст прямо через камеру телефона

DeepMind представила модель SL2T (sign-language-to-text). Она позволяет глухим пользователям не печатать текст, а вводить его жестами через камеру телефона.

Модель будет работать прямо внутри клавиатуры Gboard и приложения Live Transcribe. Пока поддерживается только перевод с американского жестового языка на английский.

С помощью жестов можно будет вводить поисковые запросы, сообщения и документы, обращаться к Gemini, а также отвечать собеседнику в Live Transcribe.

— SL2T распознаёт движения рук, тела, головы и лица и переводит их напрямую в текст.
— Модель специально оптимизировали для жестов одной рукой, так как вторая в этот момент держит сам смартфон.
— Модель обучили на 100 000+ часов данных по 50+ жестовым языкам, около четверти набора приходится на ASL (это американский жестовый язык).
— Телефон передаёт на сервер только координаты точек тела, а исходное видео сразу удаляет. Ошибки пока встречаются в редких жестах, при быстром показе букв пальцами, а также в сложных фразах и там, где без контекста непонятно время действия.

В тестах на перевод жестового языка модель показала рекордный результат. Метрика оценивала именно сохранение смысла, а не дословное совпадение. Причём модель выдала такое качество перевода сразу — без предварительных примеров и подсказок. По данным Google, сейчас это лучший показатель в индустрии.

По словам тестеров, для пользователей жестовых языков такой ввод работает быстрее и естественнее, чем обычный набор текста.

Первыми SL2T получат смартфоны Pixel 11 (бесплатно). Позже поддержку получат другие устройства и языки.

💠 PERCEPTRON.