Ученым удалось воспроизвести беззвучную речь по активности мозга
Ученые и инженеры из Калифорнийского университета разработали прототип инвазивного устройства-декодера, позволяющего синтезировать устную речь на основе сигналов от «немых» движений органов речи. Декодер считывает сигналы от сетки электродов, расположенных на поверхности мозга, непосредственно под черепом, и превращает их в речь за два шага.
2) Сигналы подаются на вход рекуррентной нейронной сети, которая распознает элементы движения речевого тракта в активности сенсомоторной коры, верхней височной извилины и нижней лобной извилины.
1) Далее, вторая сеть распознает в таких движениях акустические параметры речи, которые используются для непосредственного синтеза речи.
Люди, которые прослушали 101 синтезированное предложение смогли распознать и понять около 70% слов - точность распознавания «беззвучной» речи варьировалась в зависимости от задания. При этом прототип работает на привычной скорости речи в 120-150 слов в минуту для английского языка. Надо отметить, что в ходе эксперимента принимали участие 5 пациентов, болеющие эпилепсией, испытания на людях с проблемами речи еще не начались, так как работа прототипа требует хирургического вмешательства для размещения датчиков на коре мозга.
Вместе с тем, по словам ученых, неинвазивных инструментов такой точности пока нет, поэтому данная разработка может вернуть речь тем, кто потерял способность говорить. Подробнее вы можете прочитать в статье, опубликованной в журнале Nature: https://www.nature.com/articles/d41586-019-01328-x
Ученые и инженеры из Калифорнийского университета разработали прототип инвазивного устройства-декодера, позволяющего синтезировать устную речь на основе сигналов от «немых» движений органов речи. Декодер считывает сигналы от сетки электродов, расположенных на поверхности мозга, непосредственно под черепом, и превращает их в речь за два шага.
2) Сигналы подаются на вход рекуррентной нейронной сети, которая распознает элементы движения речевого тракта в активности сенсомоторной коры, верхней височной извилины и нижней лобной извилины.
1) Далее, вторая сеть распознает в таких движениях акустические параметры речи, которые используются для непосредственного синтеза речи.
Люди, которые прослушали 101 синтезированное предложение смогли распознать и понять около 70% слов - точность распознавания «беззвучной» речи варьировалась в зависимости от задания. При этом прототип работает на привычной скорости речи в 120-150 слов в минуту для английского языка. Надо отметить, что в ходе эксперимента принимали участие 5 пациентов, болеющие эпилепсией, испытания на людях с проблемами речи еще не начались, так как работа прототипа требует хирургического вмешательства для размещения датчиков на коре мозга.
Вместе с тем, по словам ученых, неинвазивных инструментов такой точности пока нет, поэтому данная разработка может вернуть речь тем, кто потерял способность говорить. Подробнее вы можете прочитать в статье, опубликованной в журнале Nature: https://www.nature.com/articles/d41586-019-01328-x