Исследования на тему потоковой обработки аудиопотока сразу LLM моделью без промежуточного перевода входа в текст - постепенно от единичных переходят к массовым. Вот интересная статья - в первую очередь там, что основательно сравнились со всеми основными решениями, реализованными ранее.
Технически - взяли два подхода к тому, как добавить аудиомодальность к заранее обученной тестовой ллм.
Концептуально похоже на moshi берутся токены ввода(аудио), тестовые и аудио токены ответа, выравниваются по времени, и на каждом шаге генерации - подается фьюжн всех трех через конкатенацию и проекцию(вариант 1) или через кросс-эттеншн(вариант 2).
Качество и скорость работы замерется на двух типах бенчмарков - 1. Понимание аудио и ответы на вопросы. 2. Полнодуплексные диалоги - обработка перебиваний, задержки перехода активной роли в диалоге, следование сценариям.
Первый способ лучше работает для бенчмарков на понимание, второй - на потоковых диалогах, но в целом - достойные результаты и там и там.
За основу взят Qwen 1.7, дополнительно Qwen 0.6 плюс токенизатор и вокодер из CosyVoice для TTS части, Whisper encoder для вместо-ASR части.
Код и веса, традиционно, обещают чуть позже.
Пока есть демо-страничка с одним примером.

#asr #tts #llm #ai #voice