Видео недоступно для предпросмотра
Смотреть в Telegram
Ждем контролНетов на стероидах.
На выходных не поленился почитал статью от Метачки с броским названием Sapiens.
Статья невыносимо крутая.
Авторы взяли и немного сузили класс задач компьютерного зрения, а именно до тех изображений, где находится человек (ибо это самый востребованный класс).
И получили убойное семейство моделей для четырех фундаментальных задач комп зрения - оценки 2D-позы, сегментации частей тела, оценки глубины и предсказания нормалей.
По качеству убрали все аналогичные частные случаи. Ну и самое главное - вывалили все этот в опенсорс.
Ждем нaтренированных как рексы контролНетов, ибо проделанная работа впечатляет.
Взяли миллиард изображений людей, вычистили его от мусора, получили 300(!) миллионов картинок с людьми, причем 17% - один кожаный в кадре, а 56% - больше 4 кожаных в кадре (что важно для будущих генераций).
Для оценки глубины взяли 600 качественных фотограмметрических сканов кожаных (то бишь 3Д-моделей оных) и отрендерили полмиллиона(!) ракурсов и поз в 4K, чтобы на них обучаться по глубине. Случайный фон выбирался из коллекции 100 HDRI карт окружения. Для нормалей - аналогично.
Все это добро обучалось на кластере из 1024 A100 за 18 дней.
И там несколько размеров моделей - от 0.3B до 2B.
В общем очень круто, поглядите хотя бы на сайт проекта, там внутри ссылка на код и на статью.
https://about.meta.com/realitylabs/codecavatars/sapiens
@cgevent
На выходных не поленился почитал статью от Метачки с броским названием Sapiens.
Статья невыносимо крутая.
Авторы взяли и немного сузили класс задач компьютерного зрения, а именно до тех изображений, где находится человек (ибо это самый востребованный класс).
И получили убойное семейство моделей для четырех фундаментальных задач комп зрения - оценки 2D-позы, сегментации частей тела, оценки глубины и предсказания нормалей.
По качеству убрали все аналогичные частные случаи. Ну и самое главное - вывалили все этот в опенсорс.
Ждем нaтренированных как рексы контролНетов, ибо проделанная работа впечатляет.
Взяли миллиард изображений людей, вычистили его от мусора, получили 300(!) миллионов картинок с людьми, причем 17% - один кожаный в кадре, а 56% - больше 4 кожаных в кадре (что важно для будущих генераций).
Для оценки глубины взяли 600 качественных фотограмметрических сканов кожаных (то бишь 3Д-моделей оных) и отрендерили полмиллиона(!) ракурсов и поз в 4K, чтобы на них обучаться по глубине. Случайный фон выбирался из коллекции 100 HDRI карт окружения. Для нормалей - аналогично.
Все это добро обучалось на кластере из 1024 A100 за 18 дней.
И там несколько размеров моделей - от 0.3B до 2B.
В общем очень круто, поглядите хотя бы на сайт проекта, там внутри ссылка на код и на статью.
https://about.meta.com/realitylabs/codecavatars/sapiens
@cgevent