AR/VR Engineer

👀 QuestSim — новый фреймворк от Meta для управления аватарами в AR/VR

QuestSim требует только знания положения и ориентации гарнитуры Quest VR и контроллеров, чтобы создать точное цифровое представление пользователя и смоделировать правдоподобные движения всего тела.

Используя прогнозирование ИИ, QuestSim также может моделировать движения частей тела, которые не предоставляют никаких данных от датчиков, например ног или даже рук, если юзер не использует контроллеры. На видео как раз пример 'Headset Only Tracking', и это прям крутая фича.

Также есть адаптация к виртуальной среде, но по факту просто добавлен движок физики, выглядит забавно))

AR/VR Designer

🤖 GET3D — новая нейронка от NVIDIA для создания 3D моделей

AI исследователи из NVIDIA представили GET3D, новую генеративную модель, способную создавать текстурированные 3D модели со сложной топологией и различными геометрическими деталями.

Модель обучена на 2D-изображениях и может генерировать огромное количество разнообразных объектов, но как я понял только в следующих категориях: автомобили, стулья, животных, мотоциклы, человеческие персонажи и здания.

На данный момент это лучшее решение, которое я когда либо видел. Кода пока нет, но надеюсь нейронка станет общедоступной в ближайшем будущем.

Страница проекта:
https://nv-tlabs.github.io/GET3D/

AR/VR Designer

👀 Встречайте BUDDY — железного тестировщика для AR/VR/MR устройств

BUDDY имеет встроенный модуль зрения, 3/6 степеней свободы (3DOF/6DOF), что дает возможность протестировать задержку перехода Motion-to-Photon (физическое движение и цифровая визуализация движения в шлеме), стабильность контента и pose-drifting.

Все записанные кадры могут быть сохранены для последующего анализа с частотой до 120 Гц (или выше, но с меньшим разрешением/полем обзора).

Вот такой вот дартавейдер теперь будет служить для тестирования AR/VR/MR устройств)) Выпьем за кожаных тестировщиков 🍻

AR/VR Designer

Walmart презентовали технологию AI примерки одежды

Be Your Own Model будет сначала доступна пользователям приложения Walmart для iOS, а затем для десктопа и веба, а поддержка Android будет доступна в ближайшие недели.

Walmarm обещают поддержку для более чем 270 000 товаров различных брендов, которые продаются на их платформе. Также говорят что все будет работать в считанные секунды, с тенями и складками на ткани.

Конечно же фича не ноу-хау, но это валмарт) Масштаб огромный, более 120 миллионов юзеров.

Кстати, недавно они еще добавили фичу ‘View in your space’ в свое приложение для примерки мебели, писал об этом здесь.

AR/VR Designer

👀Polycam - Room Mode

Давно слежу за этим приложением и сам им пользуюсь, мне нравится простой UX, облачное хранилище и возможность серфить и просматривать ( в том числе в AR 🙈 ) сканы других пользователей.

На днях Polycam выкатили апдейт и добавили Room Mode, используя RoomPlan API от Apple. Теперь вы можете создавать планы помещений в реалтайме с дверями, стенами, окнами и мебелью 😍

Можно экспортировать как mesh, point cloud, LiDAR, или 2D вектор и использовать почти с любым софтом.

Доступно на iOS девайсах с LiDAR сенсором и iOS16.

Приложение в AppStore:
https://apps.apple.com/us/app/polycam-lidar-3d-scanner/id1532482376

AR/VR Designer

👕Реалистичная симуляция одежды, созданная с помощью движка Chaos Physics в UE5

Разработчик Unreal Engine Мэтт Уоркман из Cinematography Database представил несколько real-time симуляций одежды, созданных с помощью ассетов одежды из MetaHuman и их объединения с движком физики Chaos в Unreal Engine 5.

Автор выпустил десятки часов образовательного видео контента, отображающего рабочий процесс создания симуляции одежды на канале Cinematography Database.

AR/VR Designer

👀Ремейк La La Land со Stable Diffusion

AI энтузиаст Esdrico превратил сцену из фильма La La Land в анимацию с помощью коллаба Deforum Stable Diffusion, используя видео инпут.

Prompt: A film still of lalaland, artwork by studio ghibli, makoto shinkai, pixv.

Sampling Settings: sampler: euler ancestral, steps: 45, scale: 14, strength: 0.55.

AR/VR Designer

Blender плагин для создания низкополигональных копий 3D-моделей

Согласно демо-версии, shader-based плагин, который в настоящее время разрабатывается Алексом Хескеттом, сможет генерировать низкополигональные копии любой 3D-модели, позволяя пользователям визуализировать тысячи детализированных 3D-объектов в режиме реального времени.

Следить за апдейтами можно в твиттере разработчика.

AR/VR Designer

🤖Мета представила модель искусственного интеллекта, которая может декодировать речь из мозга

После трех секунд мозговой активности результаты показывают, что эта модель может декодировать из неинвазивных записей активности мозга соответствующие речевые сегменты с точностью до 73% из словаря, включающего 793 слов, большую часть которых люди используют ежедневно.

Модель глубокого обучения обучается посредством contrastive learning, а затем используется для выравнивания неинвазивных записей мозга и звуков речи. Для этого исследователи используют wave2vec 2.0, модель обучения с открытым исходным кодом, которая помогает определить сложные представления речи в мозге людей, слушающих аудиокниги.

Следующий шаг - посмотреть, может ли команда расширить эту модель, чтобы напрямую декодировать речь из мозговой активности без необходимости параллельного прослушивания аудиоклипов.

Ежегодно более 69 миллионов человек во всем мире получают
травматические повреждения мозга, и многим из них подобные технологии могут помочь вернуться к нормальной жизни.

Также подобные исследования от Меты отлично вписываются в их видение будущего, как ни крути, у них хорошее железо и самые популярные VR-устройства. Гонка в разработке нейроинтерфейсов становится все живее, и за этим приятно наблюдать, посмотрим, чем рынок порадует нас в ближайшем будущем.

Ссылка на исследование:
https://ai.facebook.com/blog/ai-speech-brain-activity/

AR/VR Designer

⚡️Обновление Lens Studio 4.28

Face Occlusion — если пользователь помещает объект перед своим лицом поверх маски, например руку или волосы, модель окклюзии скроет эту часть его лица, создавая более реалистичный опыт.

Отслеживание двух рук — это обновление расширяет текущее 3D-отслеживание рук, добавляя возможность отслеживать две руки одновременно. Фича актуальна для очков Spectacles.

Вопрос/ответ с VoiceML — с помощью этой фичи креаторы могут создавать интерактивные линзы вопросов и ответов. Пользователи Snapchat смогут задавать до 15 вопросов за один сеанс.

Spatial Persistence — возможность привязки линз к физическому местоположению.

Также Snapchat выпустили обновление своего приложения, и добавили возможность использования фронтальной и задней камеры одновременно с поддержкой AR линз.

AR/VR Designer

👟Full Body VR Tracking Shoes

Компания Surplex готовится выпустить пару обуви для отслеживания всего тела в виртуальной реальности.

Каждый ботинок оснащен 240 гибкими датчиками давления и гироскопом. При использовании в тандеме с разработанным компанией алгоритмом обувь способна точно отслеживать ваши движения и переводить их в виртуальную реальность. Surplex обещает 6 часов автономной работы без подзарядки и простой процесс настройки.

Сайт проекта:
https://comingsoon.higizmos.com/surplex

Coming soon on Kickstarter.

AR/VR Designer

🌈 PsyGan AR | World Scale AI Projection Mapping with Spark AR

Очень классный эксперимент от Шона Саймона.

В ходе эксперимента автор отсканировал с помощью LiDAR разные ракурсы реального пространства, запек их в Cinema4D, запроцессил с помощью VQGAN + CLIP и перенес в дополненную реальность с помощью Spark AR.

Больше информации о процессе в публикации автора.

AR/VR Designer

🌚echo3D: Облачные инструменты разработки для 3D, AR и VR-контента

Возможно кто-то из вас занимался разработкой AR/VR приложений и помнит сложности в работе с динамическим контентом? Приходилось писать и поднимать свой сервер, реализовывать логику управления контентом и зачастую она могла быть кастомной под решение определенных задач. Конечно, на это уходило дополнительное время, все это нужно где-то развернуть, а после еще и поддерживать. Ну или приложения по 2 гб, куда уже зашит весь контент и их никто не будет никогда качать?

Команда echo3D разрабатывает систему управления 3D-контентом (CMS), сеть доставки 3D контента ( собственный CDN ), а также масштабируемую инфраструктуру BaaS ( Backend as a Service ), которая позволяет разработчикам создавать серверную часть приложения 3D/AR/VR/Metaverse за считанные минуты.

Их кросс-платформенная система поддерживает почти любой клиентский 3D/AR/VR SDK, среди них Oculus SDK, ARCore, ARKit, Vuforia, WebXR, AR.js, Unity-based SDK, MagicLeap и многое другое. Используя подобные системы разработчики значительно экономят время на создании и обслуживании бэкэнда приложения.

Помимо этого echo3D умеет переобразовывать и сжимать 3D-модели, работать с анимированным контентом, а также предосталяет доступ к аналитике.

В общем и целом, звучит как очень полезный и перспективный продукт, но время покажет.

Также недавно команда получила инвестиции в размере 5,5 миллионов долларов во главе с Qualcomm Ventures.

Сайт проекта:
https://www.echo3d.co

AR/VR Designer

⚡️ All On Board!

All On Board! — платформа, позволяющая играть в настольные игры в виртуальной реальности для устройств, совместимых с Meta Quest и SteamVR.

Разработчики обещают поддержку всех популярных настольных игр. Также будет встроенный nocode редактор для создания собственных настольных игр и изменения существующих.

Если вдруг у вас или у ваших друзей нет VR устройства, то можно будет подключиться к комнате через "All On Board! Guest Mode App". У игроков, использующих гостевой режим, не будет настраиваемых аватаров. Однако они по-прежнему смогут взаимодействовать с другими игроками через голосовой чат, взаимодействовать с игровыми элементами, видеть доску на столе и аватары других VR игроков.

Поддержать проект можно на Kickstarter: https://www.kickstarter.com/projects/thegamekitchen/all-on-board

Напомним, ранее мы рассказывали про проект Tilt Five — AR очки со специальной доской для совместной игры в настольные игры. По результатам кикстартера ребята собрали 1.767.301$ и уже в этом месяце бейкеры получать свои девайсы.

AR/VR Designer

👀Новый подход к 3D реконструкции лица от Microsoft

Во время European Conference on Computer Vision в 2022 году группа исследователей из Microsoft продемонстрировала новый метод реконструкции человеческих лиц в 3D. Метод, предложенный командой, способен точно предсказать в десять раз больше ключевых точек, включая точки для глаз и зубов.

По их словам этот подход также очень эффективен и работает в реалтайме на маломощных ноутбуках с одним процессором со скоростью более 150 fps.

Страница проекта:
https://microsoft.github.io/DenseLandmarks/

AR/VR Designer

🙀Реалистичный Deepfake Киану Ривз

Автор Not Face Video Studio создал цифровую версию актера Киану Ривза, которую практически невозможно отличить от реального человека.

Для создания дипфейка автор использовал инструмент Unreal MetaHuman, а также недавно выпущенную функцию Mesh to MetaHuman, которая позволяет легко превращать импортированный меш в трехмерного персонажа. Затем 3D-модель была доработана с помощью DeepFaceLab, приложения для создания дипфейков, это дало возможность добиться офигительного сходства с актером.

AR/VR Designer

⚡️Процедурный генератор дорог для Blender

Blender артист Bbbn19 опубликовал генератор на основе геометрических нодов, который позволяет преобразовывать кривые линии в дороги.

Кривые можно размещать вручную или рисовать с помощью "curve draw tool". Дороги настраиваются и могут быть отредактированы на вкладке модификатора.

Купить плагин можно за $4+ на Gumroad: https://bbbn19.gumroad.com/l/vhjmqh

Процедурные генераторы значительно экономят время на создании окружения и на рынке уже достаточно много решений, во всех направлениях. Вот например Buildify 1.0, очень мощный ( еще и бесплатный 👀 ) генератор зданий. Или Geometry Nodes Tree, генераторов деревьев с возможностью создания реалтайм анимации роста.

В общем советую заглянуть в соответствующие разделы на Blender Market, Unreal Marketplace или Unity Asset Store, там много подобных решений 👀

AR/VR Designer

🙀Новая нейронная сеть от NVIDIA для генерации 2D-изображений и их преобразования в 3D-объекты

Нейронка работает только с лицами людей и котов, результаты очень качественные и артефакты почти незаметны. На видео демонстрация синтеза изображений и рендеринга сцен в реальном времени.

Котики прям вообще крутые 😻

Страница проекта: https://nvlabs.github.io/eg3d/

Код проекта: https://github.com/NVlabs/eg3d

AR/VR Designer