27-29 апреля 2016 года в Сан-Хосе на конференции Silicon Valley Virtual Reality Expo (SVVR Expo) команда Interactive Lab покажет свою уникальную разработку – технологию беспроводного передвижения в виртуальном пространстве Move In VR.

Move In VR – интеграция решений виртуальной реальности и захвата движения, используемая Interactive Lab для создания интерактивных VR инсталляций, в которых пользователи получают возможность свободно (в пределах оборудованной площадки) перемещаться в виртуальной реальности. Система использует шлемы Samsung GearVR, систему захвата движения Optitrack, а также серверное и мобильное приложения собственной разработки для интеграции вышеназванных элементов.

Идея Move In VR родилась из желания не только вращать головой в виртуальной реальности, но и свободно перемещаться, не используя дополнительные контроллеры (джойстики и т.п.). Желания, очевидно появляющегося у каждого, кто пробовал заниматься экспериментами с виртуальной реальностью. Задача отслеживания перемещения пользователя так или иначе решена в коммерческих решениях проводных шлемов виртуальной реальности (Oculus Rift, HTC Vive, PlayStation VR), но никак не решается в беспроводных шлемах, в частности, Samsung Gear VR.

«Изначально, работая с проводными устройствами, мы осознали, насколько сильно мешают погружению в VR ограничения которые накладывает на перемещения наличие провода между компьютером и шлемом. Потребность в свободном перемещении возникает сама собой, при работе с VR-решениями на базе смартфонов, поскольку отсутствует стесняющий движения провод. Даже вращение головы в мобильных устройствах ощущается намного комфортнее, по той же причине» – комментирует креативный директор Interactive Lab Антон Скитер.

Для создания опыта виртуальной реальности, в котором пользователь способен перемещаться без использования контроллеров и манипуляторов, необходимы дополнительные системы регистрации движения. Подобные системы обычно достаточно точны, например система Optitrack позволяет регистрировать перемещения оснащенных специальными метками объектов с погрешностью до десятых долей миллиметра. Но передача подобных перемещений из системы трекинга на беспроводное устройство виртуальной реальности (мы используем Gear VR) вносит задержку, недопустимую для опыта виртуальной реальности, в среднем с отставанием на 2 кадра. Также на рынке не существует готовых решений для передачи данных из системы захвата движения в шлемы виртуальной реальности на платформе Android.

Решение Interactive Lab состоит в использовании захвата движения только для регистрации перемещения по трём осям, в то время как для регистрации поворотов пользователя используются встроенные в шлем датчики, таким образом приходящие с задержкой данные о перемещении пользователя в целом никак не влияют на комфортность восприятия.

Вся система достаточно проста: глобальные пространственные координаты (XYZ) передаются по Wi-Fi в VR-приложение, а повороты головы берутся с гироскопа HMD Samsung Gear VR.
Системой захвата движения мы выбрали OptiTrack, так как она дает исключительную точность позиционирования одновременно с высокой производительностью, до 240 кадров в секунду, позволяя при этом отслеживать множество объектов одновременно.

Что касается части программирования, приложение Optitrack Motive в реальном времени передает данные о текущем положении маркеров сторонним приложениям по собственному протоколу данных NatNet посредством сетевого протокола UDP, применяя многоадресное или одноадресное вещание.

Для решения проблемы недопустимой задержки при передаче данных напрямую от системы захваты движения к смартфону, мы воспользовались промежуточным сервером, который забирает поток сырых данных от Optitrack Motive с помощью одноадресного соединения, разбирает его, и отправляет в приложение в смартфоне через Wi-Fi уже по протоколу WebSocket в удобном для разработки формате. Это решение внесло лишь незначительную задержку в передаче пространственного положения.

Также промежуточный сервер дает возможность подключения внешних устройств, например, сейчас это геймпад и Bluetooth-наушники для сообщения со смартфоном, и это же позволяет подключить компьютер и наблюдать картинку, которую видит пользователь в VR, либо управлять дополнительными элементами погружения и создания окружения для пользователя, как в 5D-кинотеатре.

В итоге, имеем закольцованную систему: маркеры -> Optitrack Motive -> сервер -> VR-приложение -> перемещение в VR

Система MoveinVR позволяет с достаточной точностью и без разрушающих опыт задержек обеспечивать опыт свободного перемещения в виртуальной реальности для беспроводных шлемов Samsung GearVR.