⚡️Превращение спальни в подводную станцию с помощью Roomscale Passthrough - Meta Quest 2

by Thomas Van Bouwel

AR/VR Designer

⚡️Инструмент для превращения физических объектов в AR интерфейсы - Google Research

AR интерфейсы это будущее и очень сложная штука, ведь они должны взаимодействовать с динамическими объектами. Исследования в этой области очень важны!

Google сделали интересный ресерч и поделились своими результатами. Среди примеров погодная карточка, кратко о том, как это работает:

Система изучает визуальные характеристики физической карточки, начинает отслеживать ее шаблон, вычисляет позу 6DoF и связывает карту с виджетом погоды. Когда пользователь перемещает карту, система реагирует на ее статические и динамические позы 6DoF. В этом случае визуализируемый виджет «погода» меняет уровень детализации в зависимости от того, насколько далеко от пользователя находится карта. Когда пользователь касается кнопки «Далее» на карточке, "AdUI" распознает положение кончика пальца, событие касания, а затем отображает информацию о погоде на следующий день.

https://research.google/pubs/pub51310/

AR/VR Designer

⚡️RoomPlan API

К сожалению без Reality OS и VR устройств😢, но тем не менее WWDC 2022 прошел с множеством интересных анонсов, и среди них фича RoomPlan.

RoomPlan — это новый API на базе ARKit, который использует камеру и сканер LiDAR на iPhone и iPad для создания трехмерного плана помещения. RoomPlan выводит данные в формате файлов USD или USDZ, которые включают размеры каждого компонента, распознанного в комнате, например стен или шкафов, а также тип обнаруженной мебели. Размеры и размещение каждого отдельного компонента можно дополнительно настроить при экспорте 🚀

Это очень useful не только в сфере архитектуры и дизайна интерьеров, но и в повседневной жизни. Один из крутых юзкейсов это продажа или аренда жилья, все ведь сталкивались с проблемой хреновых фотографий и непонятного плана помещения?)) Ну вот теперь можно будет посмотреть на план будущего домика, да еще и прямо в AR 😍 Осталось только риелторам раскошелиться на айфоны с лидаром ну или стартаперам подсуетиться 😅

Подробнее здесь.

AR/VR Designer

⚡️Virtual Try-On for Shoes от Amazon

На прошлой неделе Amazon добавили возможность примерки обуви с помощью AR. Достаточно выбрать пару обуви из онлайн-каталога в мобильном приложении. Товары, совместимые с виртуальной примеркой обуви, будут иметь кнопку «Виртуальная примерка». Также есть возможность изменить цвет обуви непосредственно в режиме AR.

Virtual Try-On for Shoes поддерживает множество популярных брендов обуви, среди них: Adidas, Asics, Lacoste, New Balance, Puma, Reebok, Superga и Saucony, в будущем планируют добавлять новые бренды.

Пока что фича доступна только для пользователей iOS в США и Канаде, хотя компания подтвердила планы официального выпуска фичи для Android приложения и вероятно будет добавлять другие рынки.

AR/VR Designer

🔥Интерактивная 3D-картина, созданная с помощью Unreal Engine 5, Arduino и Kinect

Бенджамин Ола представил новый проект: интерактивную 3D-картину, в которой используются динамики, захват движения, экраны и микроконтроллеры для создания полноценного аудиовизуального опыта. Свет также влияет на сцену и оживляет картину.

Про подобный эксперимент со светом я ранее рассказывал в этом посте. Автор использовал аналогичную механика в этой работе, и выглядит это реально круто, особенно при тусклом освещении. Больше видео прикреплю в комментариях👇🏻

AR/VR Designer

⚡️Realistic one-shot mesh-based head avatars — Samsung

Пока что результат этого исследования — один из лучших, с которыми мне приходилось сталкиваться.

Обещают, что код скоро будет доступен на гите.

Подробнее:
https://samsunglabs.github.io/rome/

AR/VR Designer

🚀 VR-мод для Half-Life 2 выйдет в этом году

Разработка мода был одобрена Valve в 2017 году, а сейчас мод находится в стадии закрытого бета-тестирования.

Текущая версия включает в себя полное управление движением, 6 степеней свободы (6DOF), приятные визуальные эффекты, ручную перезарядку и многое другое.

Мод предназначен для SteamVR и успешно протестирован на гарнитурах Index, Quest, Vive и Pimax.

Выпуска ожидается в конце 2022 года. Команда пообещала также выпустить VR-версии Эпизодов 1 и 2, но на данный момент приоритетом является основная игра. Мод будет бесплатным для всех, у кого есть оригинальная игра Half-Life 2.

Сайт проекта:
https://halflife2vr.com/

AR/VR Designer

⚡️Vogue x Snapchat: Redefining the Body

20 июня на фестивале «Каннские львы» была представлена выставка «Vogue x Snapchat: Redefining the Body», курируемая Эдвардом Эннинфулом, европейским редакционным директором Vogue и главным редактором британского Vogue.

На выставке были представлены Balenciaga, Dior, Gucci, Kenneth Ize, Richard Quinn, Stella McCartney и Versace с использованием AR линз Snapchat.

В рамках выставки Vogue и Snapchat объединили усилия с DressX для создания ограниченной капсульной коллекции.

Это первая масштабная выставка с применением AR и участием мировых брендов. Это очень важный шаг для популяризации технологии и привлечения больших инвестиций в развитие AR Fashion индустрии.

https://www.vogue.co.uk/fashion/bc/snapchat-redefining-the-body

Больше контента с мероприятия в комментариях 👇🏻

AR/VR Designer

⚡️IKEA запустила AI-powered инструмент, позволяющий покупателям создавать реалистичные дизайны комнат — IKEA Kreativ

С помощью IKEA Kreativ Scene Scanner, основанного на LiDAR и встроенного в приложение IKEA, покупатели могут создавать редактируемые и реалистичные трехмерные копии своих пространств. После сканирования комнаты вы можете удалить свою реальную мебель и заменить ее новой мебелью из каталога IKEA.

Если у вас нет доступа к устройству iOS с LiDAR сканером, вы можете загрузить фотографии на веб-сайт IKEA, после чего они будут автоматически собраны в интерактивную 2D-копию.

В дополнение к Kreativ Scene Scanner IKEA также выпустила 50 новых 3D-шоурумов, в них представлены продукты IKEA и дизайнерские идеи, которые вы можете попробовать в реальном пространстве.

Доступ к IKEA Kreativ Scene Scanner можно получить, загрузив официальное приложение IKEA для iOS, пока что фича доступна только для пользователей из США. По словам IKEA, в ближайшем будущем этот опыт будет доступен для пользователей Android, а 2023 году станет доступным в других странах.

Больше информации в блоге IKEA.

AR/VR Designer

👀 Walmart тоже не стоят на месте и добавляют новую AR фичу в свое приложение

Теперь в приложении Walmart есть возможность посмотреть мебель в своем интерьере с помощью AR. Дада, это примерно тоже самое, что IKEA выпустила еще в далеком 2018 году. Тем не менее, интеграция такой фичи от Walmart это очень классный сигнал о том, что пользователи готовы к этим фичам, и это не может не радовать, ведь аудитория приложения Walmart это более 120 миллионов пользователей.

Walmart также добавили несколько дополнительных крутых штук:
- тактильную обратную связь, которая позволяет клиентам чувствовать вибрации, когда они перемещают 3D-модели, и не позволяет им перетаскивать предметы за пределы своей комнаты
- клиенты с ограниченной подвижностью могут разместить предмет в комнате и перемещать его с помощью элементов управления жестами
- для слепых или слабовидящих клиентов предусмотрены голосовые инструкции и описания

Интересный факт, Walmart выпустили свое обновление буквально на день позже после IKEA, совпадение? 🤔

‘View in your space’ будет доступна в iOS приложении, в будущем добавят поддержку Android и WebAR.

AR/VR Designer

🚀 Приложение для захвата движений верхней части тела с помощью 2 веб-камер и ПК

MocapForStreamer, разработанный исследовательским институтом Akiya, позволяет захватывать движения верхней части тела, рук и выражений лица без дорогостоящего оборудования.

Для начала работы с эппом необходимо иметь средний комп и 2 одинаковые вебки. Камеры должны быть размещены на расстоянии 20-30 см друг от друга.

Исследовательский институт Akiya также разработал MocapForAll — аналогичный инструмент для съемки всего тела.

Пользователь может загрузить свою 3д модельку, а также управлять аватаром с помощью клавиатуры. Видео можно записать, или использовать тул в realtime.

MocapForStreamer выйдет 8 июля. Попробовать демку можно здесь.

Больше о приложении здесь. Также можно добавить в wishlist на Steam.

AR/VR Designer

⚡️CEO Mojo Vision протестировал прототип умной контактной линзы

Mojo Vision - стартап, который работает над созданием умных контактных линз. И после почти 7 лет напряженной работы они, наконец, смогли протестировать продукт своей компании.

Это действительно ОЧЕНЬ сложный продукт, который вмещает в себя много компонентов, при этом минимального размера, среди них:
- Микродисплей MicroLED с разрешением 14 000 пикселей на дюйм, это самый маленький и плотный дисплей в мире;
- Датчик изображения для просмотра окружения и обработки его с помощью компьютерного зрения;
- Датчики слежения за глазами (акселерометр, гироскоп, магнитометр);
- Аккумуляторная система ;
- Антенна радиосвязи 5Ghz для связи объектива с внешним блоком;
- Процессор ARM0, для "регулирования" данных.

Линза не содержит вычислительного блока внутри, но связывается по радиоволнам с внешним вычислительным модулем.

Вы только вдумайтесь, сколько всего им удалось вместить в ОДНУ КОНТАКНУЮ ЛИНЗУ. Это будущее, нет слов.

Советую прочитать полную статью от skarredghost, там более подробная информация и интервью с CEO Mojo Vision.

В комментариях больше контента из статьи.

AR/VR Designer

♥️☠️🤖Процесс создания эпизода Love, Death + Robots с помощью Unreal Engine и MetaHuman

Команда Sony Pictures Imageworks недавно поделилась процессом разработки созданного ими эпизода Love, Death + Robots под названием In Vaulted Halls Entombed и объяснила, как им удалось создать шесть фотореалистических человеческих персонажей, четыре различные среды, монстра Ктулху и завораживающие визуальные эффекты всего за четыре месяца.

Также они рассказали об использовании Unreal Engine и MetaHuman в своем рабочем процессе, о том, как был организован их процесс mocap и как они использовали real-time анимации.

Видео: https://www.youtube.com/watch?v=9R0eRZgzkxQ

Полный материал в блоге Unreal Engine: https://www.unrealengine.com/en-US/spotlights/how-sony-pictures-imageworks-created-a-real-time-thriller-for-netflix-s-love-death-robots

AR/VR Designer

👗Реалистичная симуляция ткани в Unreal Engine

Японский 3D-художник Hirokazu Yokohara сделал демку с реалистичной симуляцией ткани, используя UE и плагин uDraper. Плагин действительно мощный и может выдавать подобные результаты при его правильной настройке.

Смоделированная ткань также может взаимодействовать с сеткой тела, благодаря чему движение одежды, а также ее складки выглядят еще более реалистичными.

AR/VR Designer

👀Blender Illustration Shader

Офигенный шейдер для Blender, который дает возможность превратить 3D-сцены в картины.

Этот шейдер может разбивать края как самой сцены, так и отдельных объектов. Каждый штрих представляет собой сплошной цвет, выбранный непосредственно из текстуры объекта, либо из пользовательского цвета.

Действительно классный результат всего в несколько кликов.

Купить шейдер можно здесь.

AR/VR Designer

🤖Midjourney Open-Beta

Midjourney запустили открытое бета тестирование, принять участие может любой желающий.

Для тех из вас, кто не в курсе, Midjourney — это команда исследователей, которая создала инструмент для генерации изображений по текстовому запросу, аналогичный DALL-E от OpenAI. Пока все работает в дискорд боте.

Вот мои результаты по запросу "realistic Apple augmented reality glasses from the middle ages". Я не особо постарался с запросом и соответственно получил яблоки внутри очков, гг) Тем не менее midjourney выдал хороший результат, третьи очки прям вообще стильные. Наверное так бы и выглядел AR для аристократов 👀

По генерации запросов можно найти немного информации в доке Midjourney, но я рекомендую пройтись по уже созданным запросам в боте, это поможет понять специфику формирования более корректных запросов.

Ссылка для участия в бете: https://discord.gg/midjourney

AR/VR Designer

⚡️Диджитализация отелей с помощью AR и цифровых аватаров

Сеть отелей Moxy Hotels анонсировали Moxy Universe, Play Beyond — AR опыт, позволяющий "взаимодействовать" с отелями с помощью цифрового аватара и дополненной реальности.

До конца года посетители могут использовать этот опыт для изучения 12 отелей Moxy от Шанхая до Токио. До прибытия в отель посетители могут создать и персонализировать свой цифровой аватар с помощью различных нарядов, аксессуаров и причесок.

Сканируя QR-коды в рамках отеля посетителям необходимо сфотографироваться со своим аватаром и пометить публикацию хэштегом #moxyuniverse, чтобы открыть новые квесты. По прохождению различных квестов посетители смогут выиграть призы.

Уже сейчас можно создать своего аватара, прямо в вебе, но только в мобильном браузере: moxyuniverse.com.

AR/VR Designer

🪑Shopify разрабатывают AR приложение для примерки мебели

Для сканирования реального помещения Shopify планирует использовать Room Plan API. В целом никакого ноу-хау и собственных технологических прорывов, но тем не менее это третий крупный ретейлер, который планирует использовать AR в таких целях.

Напомним, ранее мы рассказывали про AR приложение IKEA Kreativ от Ikea и AR приложение от Walmart. Приложение IKEA Kreativ выглядит намного перспективнее и продуманнее с точки зрения UX. Ikea действительно постарались и несколько лет проводили активные ресерчи вместе с командой талантливых специалистов из Space10. Но конкуренция это отлично, и у Shopify есть хороший шанс выкатить крутой продукт.

Больше контента о будущем продукте в твиттере Russ Maschmeyer, продакт лида Shopify.

AR/VR Designer