☝🏻Google выпустила Magenta RealTime 2 — открытую модель, которая генерирует музыку в реальном времени прямо на устройстве 🎵
Модель разработала Google DeepMind.
Главная особенность — звук синтезируется локально, без обращения к облаку, непрерывным потоком и покадрово.
Задержка генерации составляет около 200 миллисекунд, что позволяет управлять звучанием почти мгновенно.
Управлять процессом можно тремя способами: текстовым промптом, аудиопримером или MIDI.
Стиль, жанр и инструменты можно менять прямо во время генерации.
Под капотом три ключевых компонента: SpectroStream кодирует аудио в токены из стерео 48 kHz, MusicCoCa связывает текст и звук, а сама генерация работает на decoder-only трансформере.
Модель доступна в двух конфигурациях: Base на 2,4 миллиарда параметров и Small на 230 миллионов параметров.
Обучение проводилось на 71 тысяче часов стоковой инструментальной музыки.💬
Веса выложены в открытый доступ на
Hugging Face, код на
Github.
По заявлению разработчиков, это единственная открытая модель, генерирующая музыку в реальном времени с настолько низкой задержкой.
================
👁
News | 👁
Soft | 👁
Gear | 👁
Links
