Быстрей, компактней, Rust!
🔠🔠🔠🔠
Compressed GS for accelerating synthesis Project, Paper, Code
🔣Известный недостаток алгоритма Gaussian Splatting - большой объём памяти для описания сплатов.
🔣В статье предлагается модификация базового алгоритма, позволяющая сжать цветовое представление и параметры Гауссиан за счёт использования кодовых книг и Z-кривой.
➕Это позволяет в 30 уменьшить потребление памяти и в 4 раза ускорить рендеринг.
❓Использование языка RUST и WebGPU может быть как плюсом, так и минусом, в зависимости от ваших целей.
🔣Главный объём в хранении гауссовых сплатов уходит на анизотропные коэффициенты поверхности, представленные сферическими гармониками и матрицой ковариации гауссиан.
Пайплайн сжатия состоит из трёх шагов:
1. Кластеризация на основе меры чувствительности. Для каждого параметра вычисляется вклад в обучающие изображения. Цвет и параметры Гауссиан кодируются в компактные codebooks путём векторной квантизации на основе чувствительности. Квантизация цвета и геометрических параметров Гауссиан происходит немного отличным друг от друга образом, но везде в основе лежит алгоритм k-средних.
2. Файнтьюнинг квантизованного представления.
3. Энтропийное и LRE-кодирование. 3D-Gaussian-ы закодированы вдоль Z-curve для сохранения пространственной связности параметров сцены.
🔣При рендеринге каждая гауссиана описывается двумя треугольниками. Вершинный шейдер вычисляет позиции вершин в экранном пространстве исходя из матрицы ковариации. Размер сплата выбирается для покрытия 99% процентов спроецированной Гауссианы. Вершинный шейдер передаёт цвета в пиксельный, а пиксельный уже выбрасывает пиксели вне интервала с 99% надёжности.
🔣Рендерер (репозиторий) написан на Rust с помощью графического API WebGPU, поэтому работает в браузере. Сравнение производилось на стандартном NeRF датасете на 13 реальных сценах.
Флаги для запуска рендера на WebGPU в гугл-хроме из консоли:
🔠🔠🔠🔠
Compressed GS for accelerating synthesis Project, Paper, Code
🔣Известный недостаток алгоритма Gaussian Splatting - большой объём памяти для описания сплатов.
🔣В статье предлагается модификация базового алгоритма, позволяющая сжать цветовое представление и параметры Гауссиан за счёт использования кодовых книг и Z-кривой.
➕Это позволяет в 30 уменьшить потребление памяти и в 4 раза ускорить рендеринг.
❓Использование языка RUST и WebGPU может быть как плюсом, так и минусом, в зависимости от ваших целей.
Если сумеете заставить его работать в вашем браузере, дайте знать!
🔣Главный объём в хранении гауссовых сплатов уходит на анизотропные коэффициенты поверхности, представленные сферическими гармониками и матрицой ковариации гауссиан.
Пайплайн сжатия состоит из трёх шагов:
1. Кластеризация на основе меры чувствительности. Для каждого параметра вычисляется вклад в обучающие изображения. Цвет и параметры Гауссиан кодируются в компактные codebooks путём векторной квантизации на основе чувствительности. Квантизация цвета и геометрических параметров Гауссиан происходит немного отличным друг от друга образом, но везде в основе лежит алгоритм k-средних.
2. Файнтьюнинг квантизованного представления.
3. Энтропийное и LRE-кодирование. 3D-Gaussian-ы закодированы вдоль Z-curve для сохранения пространственной связности параметров сцены.
🔣При рендеринге каждая гауссиана описывается двумя треугольниками. Вершинный шейдер вычисляет позиции вершин в экранном пространстве исходя из матрицы ковариации. Размер сплата выбирается для покрытия 99% процентов спроецированной Гауссианы. Вершинный шейдер передаёт цвета в пиксельный, а пиксельный уже выбрасывает пиксели вне интервала с 99% надёжности.
🔣Рендерер (репозиторий) написан на Rust с помощью графического API WebGPU, поэтому работает в браузере. Сравнение производилось на стандартном NeRF датасете на 13 реальных сценах.
Флаги для запуска рендера на WebGPU в гугл-хроме из консоли:
google-chrome-stable --enable-unsafe-webgpu --enable-features=Vulkan