Немного магии и машинного обучения. В MIT показали нейросети 60 часов видео игры на разных инструментах и научили её по видео распознавать аудиодорожки разных инструментов.
То есть вы показываете нейросети видео, на котором люди играют, скажем, на гитаре и кларнете, и нейросеть сама раскладывает звук на две дорожки. Можно отдельно менять громкость каждой и так далее. Понятное демо: https://youtu.be/2eVDLEQlKD0, здесь больше интерактивных примеров: http://sound-of-pixels.csail.mit.edu/
Легко придумать кейсы применения такого инструмента: редактирование музыкальных видео, реставрация архивных записей. Но мне просто нравится сам подход - в этом действительно есть что-то магическое 💖
То есть вы показываете нейросети видео, на котором люди играют, скажем, на гитаре и кларнете, и нейросеть сама раскладывает звук на две дорожки. Можно отдельно менять громкость каждой и так далее. Понятное демо: https://youtu.be/2eVDLEQlKD0, здесь больше интерактивных примеров: http://sound-of-pixels.csail.mit.edu/
Легко придумать кейсы применения такого инструмента: редактирование музыкальных видео, реставрация архивных записей. Но мне просто нравится сам подход - в этом действительно есть что-то магическое 💖