MeshArt: Generating Articulated Meshes with Structure-Guided Transformers
А теперь бросайте все эти кашеобразные 3Д-генераторы и смотрите сюда.
Авторы не генерят модель целиком, а СНАЧАЛА сегментируют ее на, грубо говоря, bounding boxes, потом смотрят на отношения между соседями, в общем используют трансформеры для "понимания" как устроена иерархическая модель. И только в самом конце аппроксимируют сетку чистой топологией.
MeshArt - подход на основе иерархических трансформеров для создания соединенных 3D-сеток с чистой, компактной геометрией, напоминающей созданные человеком 3D-модели. Мы подходим к созданию сочлененных сеток по частям на двух этапах.
Сначала мы генерируем высокоуровневую структуру объекта с учетом соединения частей; затем, основываясь на этой структурной информации, мы синтезируем грани сетки каждой детали. Ключевым моментом нашего подхода является моделирование структур сочленений и сеток деталей как последовательностей квантованных эмбедингов треугольников, что приводит к созданию единой иерархической структуры с трансформерами для авторегрессионной генерации. Сначала генерируются структуры частей объекта в виде их граничных примитивов и режимов сочленения; затем второй трансформер, руководствуясь этими структурами сочленения, генерирует треугольники сетки каждой части.
Для органики, вероятно, будет неоптимально, а вот для кадоподобных сцен и всяких интер-экстер-еров должно давать хорошую сетку.
Работа от Метачки для CVPR 2025, заслуживает внимания.
https://daoyig.github.io/Mesh_Art/
Поглядите видео внутри, оно говорит само за себя.
Кодищще: https://github.com/DaoyiG/MeshArt
@cgevent
А теперь бросайте все эти кашеобразные 3Д-генераторы и смотрите сюда.
Авторы не генерят модель целиком, а СНАЧАЛА сегментируют ее на, грубо говоря, bounding boxes, потом смотрят на отношения между соседями, в общем используют трансформеры для "понимания" как устроена иерархическая модель. И только в самом конце аппроксимируют сетку чистой топологией.
MeshArt - подход на основе иерархических трансформеров для создания соединенных 3D-сеток с чистой, компактной геометрией, напоминающей созданные человеком 3D-модели. Мы подходим к созданию сочлененных сеток по частям на двух этапах.
Сначала мы генерируем высокоуровневую структуру объекта с учетом соединения частей; затем, основываясь на этой структурной информации, мы синтезируем грани сетки каждой детали. Ключевым моментом нашего подхода является моделирование структур сочленений и сеток деталей как последовательностей квантованных эмбедингов треугольников, что приводит к созданию единой иерархической структуры с трансформерами для авторегрессионной генерации. Сначала генерируются структуры частей объекта в виде их граничных примитивов и режимов сочленения; затем второй трансформер, руководствуясь этими структурами сочленения, генерирует треугольники сетки каждой части.
Для органики, вероятно, будет неоптимально, а вот для кадоподобных сцен и всяких интер-экстер-еров должно давать хорошую сетку.
Работа от Метачки для CVPR 2025, заслуживает внимания.
https://daoyig.github.io/Mesh_Art/
Поглядите видео внутри, оно говорит само за себя.
Кодищще: https://github.com/DaoyiG/MeshArt
@cgevent