Девушка собрала приложение, которое читает по губам и превращает беззвучную речь в текст

Разработчица собрала LipFlow — приложение, которое распознаёт беззвучную речь по движению губ.

Идея родилась из очень понятного раздражения: иногда нужно надиктовать текст, но вокруг коворкинг, библиотека или просто люди, которым не хочется устраивать личный подкаст в прямом эфире.

LipFlow решает это через камеру: она смотрит на губы, считывает артикуляцию и превращает её в текст.

При первом запуске нужно беззвучно произнести 24 фразы, чтобы модель подстроилась под вашу мимику и особенности речи. После этого можно диктовать уже без голоса.

Главный плюс — всё работает локально. Данные не отправляются в облако, так что приложение выглядит не только удобным, но и относительно приватным.

GitHub:
https://github.com/amywork777/lipflow