⚡️Следующим рубежом в развитии нейронтерфейсов для речи станет мгновенный синтез голоса - Сергей Ставиский, со-глава лаборатории нейропротезирования Калифорнийского университета в Дэвисе
На прошлой неделе лаборатория Ставиского представила нейроинтерфейс с точностью 97,5%. О другой работе его лабы мы писали здесь.
Сегодня вышло новое исследование в сфере интерфейсов мозг-компьютер(BCI) для восстановления речи. В нем говорится, что разработан новый нейропротез "мозг-голос", который напрямую синтезирует голос из нейронной активности с обратной связью в режиме реального времени.
Ставиский прокомментировал это исследование, заявив, что важным рубежом в развитии этих технологий является мгновенный синтез голоса. То есть создание системы, которая может преобразовывать сигналы мозга в речь практически без задержки, как это происходит при естественном разговоре.
Теперь о новом исследовании, которое вышло сегодня, основные моменты:
1. Разработан новый нейропротез "мозг-голос", который напрямую синтезирует голос из нейронной активности с обратной связью в режиме реального времени.
2. Система позволила человеку с боковым амиотрофическим склерозом (БАС) выразительно говорить, модулируя интонацию и даже петь мелодии через BCI.
3. Технология использует 256 микроэлектродов, имплантированных в речедвигательную кору мозга, для декодирования сигналов непосредственно в голос за 10 миллисекунд.
4. Участник эксперимента, страдающий тяжелой дизартрией (нарушением речи), может непрерывно слышать синтезированный BCI голос, пока пытается говорить, имитируя здоровый речедвигательный цикл.
5. Система декодирует не только фонемное содержание, но и паралингвистические особенности из нейронной активности, позволяя участнику модулировать интонацию синтезированного голоса в реальном времени для создания выразительной речи.
6. Участник смог выделять определенные слова в предложении, задавать вопросы и произносить утверждения с соответствующей интонацией.
7. Система способна декодировать несколько уровней высоты тона непрерывно из внутрикорковой активности, что позволило участнику "петь" короткие трехтональные мелодии.
8. Важным аспектом является возможность синтезировать собственный голос пользователя, каким он был до развития БАС, что может улучшить восстановительный эффект речевого нейропротеза.
9. Для обучения системы использовались синтетические целевые речевые сигналы, согласованные с нейронной активностью на уровне слогов, так как речь участника была неразборчивой.
10. BCI оказался гибким и универсальным, обеспечивая различные типы вокализации, такие как произнесение по буквам, междометия, выдуманные слова, имитация и самостоятельно инициированная речь без специального обучения.
11. В отличие от предыдущих работ, этот нейропротез напрямую отображает нейронную активность в акустические характеристики для синтеза голоса без промежуточных этапов, таких как текст или речевые единицы.
Исследователи рассматривают это как шаг к созданию "цифрового голосового тракта" для мгновенной, полностью выразительной речи. Это значительный прогресс в области восстановления речи для людей с тяжелыми нарушениями речи и двигательных функций.
На прошлой неделе лаборатория Ставиского представила нейроинтерфейс с точностью 97,5%. О другой работе его лабы мы писали здесь.
Сегодня вышло новое исследование в сфере интерфейсов мозг-компьютер(BCI) для восстановления речи. В нем говорится, что разработан новый нейропротез "мозг-голос", который напрямую синтезирует голос из нейронной активности с обратной связью в режиме реального времени.
Ставиский прокомментировал это исследование, заявив, что важным рубежом в развитии этих технологий является мгновенный синтез голоса. То есть создание системы, которая может преобразовывать сигналы мозга в речь практически без задержки, как это происходит при естественном разговоре.
Теперь о новом исследовании, которое вышло сегодня, основные моменты:
1. Разработан новый нейропротез "мозг-голос", который напрямую синтезирует голос из нейронной активности с обратной связью в режиме реального времени.
2. Система позволила человеку с боковым амиотрофическим склерозом (БАС) выразительно говорить, модулируя интонацию и даже петь мелодии через BCI.
3. Технология использует 256 микроэлектродов, имплантированных в речедвигательную кору мозга, для декодирования сигналов непосредственно в голос за 10 миллисекунд.
4. Участник эксперимента, страдающий тяжелой дизартрией (нарушением речи), может непрерывно слышать синтезированный BCI голос, пока пытается говорить, имитируя здоровый речедвигательный цикл.
5. Система декодирует не только фонемное содержание, но и паралингвистические особенности из нейронной активности, позволяя участнику модулировать интонацию синтезированного голоса в реальном времени для создания выразительной речи.
6. Участник смог выделять определенные слова в предложении, задавать вопросы и произносить утверждения с соответствующей интонацией.
7. Система способна декодировать несколько уровней высоты тона непрерывно из внутрикорковой активности, что позволило участнику "петь" короткие трехтональные мелодии.
8. Важным аспектом является возможность синтезировать собственный голос пользователя, каким он был до развития БАС, что может улучшить восстановительный эффект речевого нейропротеза.
9. Для обучения системы использовались синтетические целевые речевые сигналы, согласованные с нейронной активностью на уровне слогов, так как речь участника была неразборчивой.
10. BCI оказался гибким и универсальным, обеспечивая различные типы вокализации, такие как произнесение по буквам, междометия, выдуманные слова, имитация и самостоятельно инициированная речь без специального обучения.
11. В отличие от предыдущих работ, этот нейропротез напрямую отображает нейронную активность в акустические характеристики для синтеза голоса без промежуточных этапов, таких как текст или речевые единицы.
Исследователи рассматривают это как шаг к созданию "цифрового голосового тракта" для мгновенной, полностью выразительной речи. Это значительный прогресс в области восстановления речи для людей с тяжелыми нарушениями речи и двигательных функций.