☝🏻Google выпустила Magenta RealTime 2 — открытую модель, которая генерирует музыку в реальном времени прямо на устройстве 🎵

Модель разработала Google DeepMind.
Главная особенность — звук синтезируется локально, без обращения к облаку, непрерывным потоком и покадрово.

Задержка генерации составляет около 200 миллисекунд, что позволяет управлять звучанием почти мгновенно.

Управлять процессом можно тремя способами: текстовым промптом, аудиопримером или MIDI.

Стиль, жанр и инструменты можно менять прямо во время генерации.

Под капотом три ключевых компонента: SpectroStream кодирует аудио в токены из стерео 48 kHz, MusicCoCa связывает текст и звук, а сама генерация работает на decoder-only трансформере.

Модель доступна в двух конфигурациях: Base на 2,4 миллиарда параметров и Small на 230 миллионов параметров.

Обучение проводилось на 71 тысяче часов стоковой инструментальной музыки.💬

Веса выложены в открытый доступ на Hugging Face, код на Github.

По заявлению разработчиков, это единственная открытая модель, генерирующая музыку в реальном времени с настолько низкой задержкой.
================
👁 News | 👁 Soft | 👁 Gear | 👁 Links