27 – 29 апреля 2016 года в Сан-Хосе на конференции Sil­i­con Val­ley Vir­tu­al Real­i­ty Expo (SVVR Expo) команда Inter­ac­tive Lab покажет свою уникальную разработку – технологию беспроводного передвижения в виртуальном пространстве Move In VR.

maxresdefault 1024x576 - Российская студия Interactive Lab покажет революционную VR-технологию в Сан-Хосе

Move In VR – интеграция решений виртуальной реальности и захвата движения, используемая Inter­ac­tive Lab для создания интерактивных VR инсталляций, в которых пользователи получают возможность свободно (в пределах оборудованной площадки) перемещаться в виртуальной реальности. Система использует шлемы Sam­sung GearVR, систему захвата движения Opti­track, а также серверное и мобильное приложения собственной разработки для интеграции вышеназванных элементов.

Идея Move In VR родилась из желания не только вращать головой в виртуальной реальности, но и свободно перемещаться, не используя дополнительные контроллеры (джойстики и т.п.). Желания, очевидно появляющегося у каждого, кто пробовал заниматься экспериментами с виртуальной реальностью. Задача отслеживания перемещения пользователя так или иначе решена в коммерческих решениях проводных шлемов виртуальной реальности (Ocu­lus Rift, HTC Vive, PlaySta­tion VR), но никак не решается в беспроводных шлемах, в частности, Sam­sung Gear VR.

«Изначально, работая с проводными устройствами, мы осознали, насколько сильно мешают погружению в VR ограничения которые накладывает на перемещения наличие провода между компьютером и шлемом. Потребность в свободном перемещении возникает сама собой, при работе с VR-решениями на базе смартфонов, поскольку отсутствует стесняющий движения провод. Даже вращение головы в мобильных устройствах ощущается намного комфортнее, по той же причине» – комментирует креативный директор Inter­ac­tive Lab Антон Скитер.

Для создания опыта виртуальной реальности, в котором пользователь способен перемещаться без использования контроллеров и манипуляторов, необходимы дополнительные системы регистрации движения. Подобные системы обычно достаточно точны, например система Opti­track позволяет регистрировать перемещения оснащенных специальными метками объектов с погрешностью до десятых долей миллиметра. Но передача подобных перемещений из системы трекинга на беспроводное устройство виртуальной реальности (мы используем Gear VR) вносит задержку, недопустимую для опыта виртуальной реальности, в среднем с отставанием на 2 кадра. Также на рынке не существует готовых решений для передачи данных из системы захвата движения в шлемы виртуальной реальности на платформе Android.

Решение Inter­ac­tive Lab состоит в использовании захвата движения только для регистрации перемещения по трём осям, в то время как для регистрации поворотов пользователя используются встроенные в шлем датчики, таким образом приходящие с задержкой данные о перемещении пользователя в целом никак не влияют на комфортность восприятия.

Вся система достаточно проста: глобальные пространственные координаты (XYZ) передаются по Wi-Fi в VR-приложение, а повороты головы берутся с гироскопа HMD Sam­sung Gear VR.
Системой захвата движения мы выбрали Opti­Track, так как она дает исключительную точность позиционирования одновременно с высокой производительностью, до 240 кадров в секунду, позволяя при этом отслеживать множество объектов одновременно.

Что касается части программирования, приложение Opti­track Motive в реальном времени передает данные о текущем положении маркеров сторонним приложениям по собственному протоколу данных Nat­Net посредством сетевого протокола UDP, применяя многоадресное или одноадресное вещание.

Для решения проблемы недопустимой задержки при передаче данных напрямую от системы захваты движения к смартфону, мы воспользовались промежуточным сервером, который забирает поток сырых данных от Opti­track Motive с помощью одноадресного соединения, разбирает его, и отправляет в приложение в смартфоне через Wi-Fi уже по протоколу Web­Sock­et в удобном для разработки формате. Это решение внесло лишь незначительную задержку в передаче пространственного положения.

Также промежуточный сервер дает возможность подключения внешних устройств, например, сейчас это геймпад и Blue­tooth-наушники для сообщения со смартфоном, и это же позволяет подключить компьютер и наблюдать картинку, которую видит пользователь в VR, либо управлять дополнительными элементами погружения и создания окружения для пользователя, как в 5D-кинотеатре.

В итоге, имеем закольцованную систему: маркеры -> Opti­track Motive -> сервер -> VR-приложение -> перемещение в VR

Система Movein­VR позволяет с достаточной точностью и без разрушающих опыт задержек обеспечивать опыт свободного перемещения в виртуальной реальности для беспроводных шлемов Sam­sung GearVR.

Подписывайтесь на наши соц.сети, канал IT Zine в Telegram.
А также на канал ForGeeks