Видео недоступно для предпросмотра
Смотреть в Telegram
ML-проект недели – определение глубины сцены в реальном времени
На 7.4 миллиона просмотров за сутки разлетелся проект инженера из Software Mansion (Польша). Он работает с TypeGPU – библиотекой, которая позволяет писать GPU-шейдеры прямо на TypeScript.
Автор запустил нейросеть, которая по обычной 2D-картинке восстанавливает карту глубины сцены, и укладывается при этом в ~8 мс на чипе M4 Pro.
Кадр видео при 60 fps длится ~16.7 мс, так что это полноценный реалтайм прямо в браузере. Плюс все, от нейросети до финального рендера со светом, работает в одном GPU-пайплайне, без передачи данных туда-обратно между CPU и GPU.
Демо выглядит особенно хорошо, но кода в опенсорсе нет (возможно, его собираются продать Zoom за несколько миллионов ✨)
На 7.4 миллиона просмотров за сутки разлетелся проект инженера из Software Mansion (Польша). Он работает с TypeGPU – библиотекой, которая позволяет писать GPU-шейдеры прямо на TypeScript.
Автор запустил нейросеть, которая по обычной 2D-картинке восстанавливает карту глубины сцены, и укладывается при этом в ~8 мс на чипе M4 Pro.
Кадр видео при 60 fps длится ~16.7 мс, так что это полноценный реалтайм прямо в браузере. Плюс все, от нейросети до финального рендера со светом, работает в одном GPU-пайплайне, без передачи данных туда-обратно между CPU и GPU.
Демо выглядит особенно хорошо, но кода в опенсорсе нет (возможно, его собираются продать Zoom за несколько миллионов ✨)