Как LLM научились «слышать»
Недавно выходил [пост] про то, как LLM научились «видеть». А сегодня от тех же ребят вышла [статья] о том, как LLM научились «слышать».
Как обычно очень много интересных и не совсем понятных терминов, но вы не маленькие — засунете ссылку в gpt и получите все человеческим языком.
А я хочу остановиться на одном из первых абзацев. В нем рассказывается основной принцип «понимания» звука нейросетью. Он абсолютно логичен с точки зрения обработки информации и представления данных: преобразование звуков в изображение.
Да, вот такая логика. Текст — суть LLM. Не увидеть изображение? Преобразуем его в текст. Не услышать звук? Преобразуем в изображение, а его уже в текст.
Вот и вся магия обработки звуков нашими любимыми LLM.
В статье еще есть глава про видео. Как LLM справились с синхронизацией двух процессов («видеть» и «слышать»). Но там в основном те же самые принципы, о которых мы уже говорили. Просто адаптированы под задачу.
Недавно выходил [пост] про то, как LLM научились «видеть». А сегодня от тех же ребят вышла [статья] о том, как LLM научились «слышать».
Как обычно очень много интересных и не совсем понятных терминов, но вы не маленькие — засунете ссылку в gpt и получите все человеческим языком.
А я хочу остановиться на одном из первых абзацев. В нем рассказывается основной принцип «понимания» звука нейросетью. Он абсолютно логичен с точки зрения обработки информации и представления данных: преобразование звуков в изображение.
Да, вот такая логика. Текст — суть LLM. Не увидеть изображение? Преобразуем его в текст. Не услышать звук? Преобразуем в изображение, а его уже в текст.
Звук — одномерная волна, представляющая собой колебания давления во времени. Удобный формат представления звука для нейросети — мел-спектрограмма. Мел-спектрограмма показывает (картинка в посте), как энергия сигнала распределяется по частотам (по шкале мел) и времени.
Это похоже на тепловую карту, только вместо температуры — громкость различных звуков.
...мел-спектрограмма — двумерное изображение ...значит, его можно обрабатывать как картинку.
Вот и вся магия обработки звуков нашими любимыми LLM.
В статье еще есть глава про видео. Как LLM справились с синхронизацией двух процессов («видеть» и «слышать»). Но там в основном те же самые принципы, о которых мы уже говорили. Просто адаптированы под задачу.