Поженим NeRF и трансформеры, получим NerFormer!
Базовый метод реконструкции 3D сцены с помощью нейронных сетей, NeRF, имеет ряд ограничений. Например, он медленный (хотя каждый месяц выходят статьи, ускоряющие его), и его нужно с нуля обучать на каждой новой сцене/объекте. Мои коллеги из Meta (Facebook) AI Research прокачали NeRF, решив некоторые из его пробелм (детали в посте ниже).
Также в статье представлен самый большой (19к видео) публичный датасет с 360-градусным облетом вещей в "дикой природе".
Итого, имеем сильный метод для нейронной генерации новых view для 3D объектов - NerFormer. Он способен научиться рендерить сразу много категорий объектов, а так же может быть быстро зафайнтюнен на новых объектах всего по нескольким фото.
Кода для тренировки нет но есть код для теста. Сама статья на arxiv.
Если вы ничего не поняли, то советую почитать вот этот пост про нейронный рендеринг и этот.
_______
Источник | #ai_newz
Базовый метод реконструкции 3D сцены с помощью нейронных сетей, NeRF, имеет ряд ограничений. Например, он медленный (хотя каждый месяц выходят статьи, ускоряющие его), и его нужно с нуля обучать на каждой новой сцене/объекте. Мои коллеги из Meta (Facebook) AI Research прокачали NeRF, решив некоторые из его пробелм (детали в посте ниже).
Также в статье представлен самый большой (19к видео) публичный датасет с 360-градусным облетом вещей в "дикой природе".
Итого, имеем сильный метод для нейронной генерации новых view для 3D объектов - NerFormer. Он способен научиться рендерить сразу много категорий объектов, а так же может быть быстро зафайнтюнен на новых объектах всего по нескольким фото.
Кода для тренировки нет но есть код для теста. Сама статья на arxiv.
Если вы ничего не поняли, то советую почитать вот этот пост про нейронный рендеринг и этот.
_______
Источник | #ai_newz