Virtual Reality, VR
Виртуальная реальность (Virtual Reality, VR, искусственная реальность) — созданный техническими средствами мир, передаваемый человеку через его ощущения: зрение, слух, осязание и другие. Виртуальная реальность имитирует как воздействие, так и реакции на воздействие. Для создания убедительного комплекса ощущений реальности компьютерный синтез свойств и реакций виртуальной реальности производится в реальном времени.
Не следует путать виртуальную реальность с дополненной. Их коренное различие в том, что виртуальная конструирует новый искусственный мир, а дополненная реальность лишь вносит отдельные искусственные элементы в восприятие мира реального.
Системами виртуальной реальности называются устройства, которые более полно по сравнению с обычными компьютерными системами имитируют взаимодействие с виртуальной средой путём воздействия на все пять имеющихся у человека органов чувств.
Таких систем в полном объеме пока еще не существует, но при создании виртуальной реальности разработчики стараются добиться, чтобы она была:
- правдоподобной — поддерживала у пользователя ощущение реальности происходящего;
- интерактивной — обеспечивала взаимодействие со средой;
- доступной для изучения — предоставляла возможность исследовать большой, детализированный мир;
- создающей эффект присутствия — вовлекала в процесс как мозг, так и тело пользователя, воздействуя на максимально возможное число органов чувств.
Очевидно, достижение этих целей возможно только при использовании высокопроизводительного аппаратно-программного обеспечения.
Типы виртуальной реальности
На данном этапе развития технологий VR среди них можно выделить следующие типы.
- Технологии VR с эффектом полного погружения, обеспечивающие правдоподобную симуляцию виртуального мира с высокой степенью детализации. Для их реализации необходим высокопроизводительный компьютер, способный распознавать действия пользователя и реагировать на них в режиме реального времени, и специальное оборудование, обеспечивающее эффект погружения.
- Технологии VR без погружения. К ним относятся симуляции с изображением, звуком и контроллерами, транслируемые на экран, желательно широкоформатный. Такие системы причисляют к виртуальной реальности, поскольку по степени воздействия на зрителя они намного превосходят другие средств мультимедиа, хотя и не реализуют в полной мере требования, предъявляемые к VR.
- Технологии VR с совместной инфраструктурой. К ним можно отнести Second Life — трёхмерный виртуальный мир с элементами социальной сети, который насчитывает свыше миллиона активных пользователей, игру Minecraft и другие. Такие миры не обеспечивают полного погружения (впрочем, у Minecraft уже существует версия для виртуальной реальности, поддерживающая шлемы Oculus Rift и Gear VR). Но зато в виртуальных мирах хорошо организовано взаимодействие с другими пользователями, чего часто не хватает продуктам «настоящей» виртуальной реальности.
Виртуальные миры используются не только в игровой индустрии: благодаря таким платформам, как 3D Immersive Collaboration можно организовывать рабочие и учебные 3D-пространства — это называется «совместная работа с эффектом присутствия». Обеспечение полного погружения и, одновременно, взаимодействия пользователей в виртуальности является одним из важных направлений развития VR. - VR на базе интернет-технологий. К ним относится прежде всего язык Virtual Reality Markup Language, аналогичный HTML. Сейчас эта технология считается устаревшей, но, не исключено, в будущем виртуальная реальность будет создаваться в том числе и с использованием интернет-технологий.
Как работает технология VR
Самым распространённым средством погружения в виртуальную реальность являются специализированные шлемы/очки. На расположенный перед глазами пользователя дисплей выводится видео в формате 3D. Прикрепленные к корпусу гироскоп и акселерометр отслеживают повороты головы и передают данные в вычислительную систему, которая изменяет изображение на дисплее в зависимости от показаний датчиков. В итоге пользователь имеет возможность «оглядеться» внутри виртуальной реальности и почувствовать себя в ней, как в настоящем мире.
Для более реалистичного погружения в мир виртуальной реальности помимо датчиков, отслеживающих положение головы, в устройствах VR могут применяться трекинговые системы, отслеживающие движения зрачков глаз и позволяющие определить, куда человек смотрит в каждый момент времени, а также отслеживающие телодвижения человека с целью повторения их в виртуальном мире. Такое отслеживание может осуществляться с помощью специальных датчиков или видеокамеры.
Для взаимодействия с виртуальной реальностью традиционных 2D-контроллеров (мышь, джойстик и др.) уже недостаточно, поэтому их заменяют 3D-контроллерами (манипуляторами, позволяющими работать в трехмерном пространстве).
Устройства с обратной связью предназначены для того, чтобы пользователь мог еще полнее ощутить все происходящее в виртуальном мире. В качестве таких устройств могут использоваться вибрирующие джойстики, вращающиеся кресла.
Устройства и компоненты VR
Считается, что 80% информации человек получает через зрение. Поэтому разработчики систем ВР уделяют огромное внимание именно устройствам, обеспечивающим формирование изображений. Как правило, их дополняют устройствами стереозвучания, ведутся работы по тактильным воздействиям и даже имитации запахов. О воздействии на вкусовые рецепторы пока не сообщается.
Изображения
- Шлем виртуальной реальности
Современные шлемы виртуальной реальности (HMD-display, head-mounted display, видеошлем) содержат один или несколько дисплеев, на которые выводятся изображения для левого и правого глаза, систему линз для корректировки геометрии изображения, а также систему трекинга, отслеживающую ориентацию устройства в пространстве. По внешнему виду они теперь похожи на очки, поэтому их все чаще называют VR headsets (ВР-гарнитуры) или просто очки виртуальной реальности.
Их можно разделить на три группы:
1. Очки, в которых обработку и вывод изображения обеспечивает смартфон (Android, iPhone, Windows Phone). Современный смартфон — высокопроизводительное устройство, способное самостоятельно обрабатывать трехмерные изображения. Дисплеи смартфонов обладают достаточно высоким разрешением. Практически каждый смартфон снабжен датчиками, позволяющими определять положение устройства в пространстве
2. Очки, в которых обработку изображения обеспечивает внешнее устройство (ПК, Xbox, PlayStation и т.п.). Внешнее устройство должно быть высокопроизводительным, а очки снабжены датчиками положения.
3. Автономные очки виртуальной реальности (Lenovo Mirage Solo, совместно с Google, Oculus Quest от Facebook, Samsung Gear VR).
Шлемы являются основным компонентом VR с полным погружением, поскольку не только обеспечивают объемное изображение и стереозвучание, но еще и частично изолируют пользователя от окружающей реальности. - MotionParallax3D-дисплеи
Такие дисплеи задействуют присущий человеку механизм восприятия объема — параллакс (motion parallax). Для этого в каждый момент времени для зрителя, исходя из его положения относительно экрана, генерируется соответствующая проекция трёхмерного объекта. Перемещаясь вокруг сцены, пользователь может осмотреть её со всех сторон, при этом все объекты сцены будут перемещаться друг относительно друга.
Явление параллакса многократно усиливает восприятие объема. В отличие от 3D-кинематографа и 3D-TV, которые используют лишь бинокулярное зрение, технология MotionParallax3D позволяет пользователю рассмотреть 3D-сцену со всех сторон, как если бы все ее объекты были реальны. Смещение зрителя относительно экрана, нарушающее эффект объема в 3D-кино, в системе MotionParallax3D эффект только усиливает.
Система, использующая механизм параллакса, должна улавливать мельчайшие движения головы пользователя и отслеживать их с высокой скоростью и точностью, чтобы мозг не фиксировал искажения геометрии объектов, вызванные запаздыванием изменения изображения. Задержка должна составлять не более 20 мс, для интерактивных игр — не более 11 мс.
Эти устройства обеспечивают, как правило, неполное погружение, поскольку воспроизводятся на дисплеях и не изолируют пользователя от окружающей среды. Исключение — комнаты виртуальной реальности (CAVE, cave automatic virtual environment). В таких комнатах на каждую стену проецируется стереоскопическое изображение, рассчитанное для конкретной точки, в которой и находится пользователь. В итоге такое изображение окружает человека со всех сторон, погружает его в себя. Некоторые эксперты полагают,7 что VR-комнаты гораздо лучше VR-шлемов: обеспечивают более высокое разрешение, нет необходимости надевать на голову громоздкое устройство, в котором некоторых даже укачивает, и самоидентификация происходит проще благодаря тому, что пользователь имеет возможность постоянно себя видеть.
Звук
Многоканальная акустическая система позволяет производить локализацию источника звука, благодаря чему пользователь может ориентироваться в виртуальном мире с помощью слуха.
Тактильные и другие ощущения
- Перчатки виртуальной реальности (информационные перчатки, datagloves)
Такие перчатки оснащаются датчиками, позволяющими отслеживать движения кистей и пальцев рук. Технически это может быть реализовано различными методами: с использованием оптоволоконных кабелей, тензометрических или пьезоэлектрических датчиков, а также электромеханических приспособлений (таких как потенциометры).8 Например, ученые из компаний EPFL и ETH Zurich разработали ультралегкие перчатки (весом менее 8 граммов на каждый палец и толщиной всего лишь 2 мм). Они обеспечивают «чрезвычайно реалистичную тактильную обратную связь и могут быть запитаны от аккумуляторов, благодаря чему обеспечивается беспрецедентная свобода движения». - Костюм виртуальной реальности
Этот костюм должен отслеживать изменение положения всего тела пользователя и передавать тактильные, температурные и вибрационные ощущения, а в комбинации со шлемом — зрительные и слуховые.
Запахи и вкусовые ощущения
Работы по синтезу запахов ведутся уже не один год, но до широкого использования полученных результатов еще далеко. О каких-либо значимых достижениях в области передачи вкусовых ощущений говорить пока не приходится.
Устройства управления
Для взаимодействия с виртуальной средой используются специальные джойстики (геймпады, wands), содержащие встроенные датчики положения и движения, а также кнопки и колеса прокрутки, как у мыши. Сейчас такие джойстики все чаще делают беспроводными.
В качестве устройств управления могут также использоваться упомянутые выше информационные перчатки и костюмы виртуальной реальности.
Проблемы унификации
Как это обычно бывает при внедрении новых технологий, каждый из крупных поставщиков, вышедших на многообещающий рынок, стремится продвигать именно свою продукцию, распространять свои технические решения. Соответственно, ведущие компании, выпустив VR-гарнитуры, разрабатывают или заказывают контент именно для них. Движущей силой рынка VR на данный момент являются виртуальные игры, в первую очередь в расчете на геймеров и были выпущены гарнитуры Oculus Rift, Samsung Gear VR, HTC Vive, PlayStation VR и др.
Игры и другой контент, разработанные для одной гарнитуры, не воспроизводятся на другой. Игроманы ждут не дождутся, когда будет налажено портирование игр между гарнитурами разных разработчиков. Промышленники, рекламисты и представители многих других отраслей быстрее внедряли бы VR, зная, что дорогостоящее оборудование не придется менять из-за того, что новое, крайне привлекательное ПО было разработано для других очков-перчаток-костюмов виртуальной реальности.
Поставщики VR прекрасно понимают, что хорошо налаженное сотрудничество между ними способно вывести виртуальную реальность на качественно новый уровень. Поэтому еще в декабре 2016 года была создана Глобальная ассоциация виртуальной реальности (GVRA) — некоммерческая организация производителей шлемов виртуальной реальности (VR), призванная объединить усилия компаний в развитии этого направления. В ее создании приняли участие компании Acer Starbreeze, Google, HTC VIVE, Oculus, Samsung и Sony Interactive Entertainment.
Согласно данным сайта GVRA,13 главная задача ассоциации — способствовать глобальному росту и развитию индустрии VR. Планируется создание рабочих групп для проведения исследований и выработки рекомендаций, касающихся наиболее важных для отрасли тем. В конечном итоге эти группы будут разрабатывать лучшие практики и открыто делиться ими.
Однако по состоянию на октябрь 2018 г., т.е. спустя почти два года после создания GVRA, единственным материалом, появившимся на сайте ассоциации, стал отчет «Исследование виртуальной реальности и ее потенциал для Европы», охватывающий период с 2016 по 2017 год.14 Видимо, достижение глобальных договоренностей между крупными компаниями — задача не менее сложная, чем разработка собственно технологий VR.
Впрочем, усилия по унификации оборудования продолжаются.
Так, 17-го июля 2017 года компании NVIDIA, Oculus, Valve, AMD и Microsoft представили спецификацию VirtualLink™ — открытый отраслевой стандарт, который позволит гарнитурам VR следующего поколения подключаться к ПК и другим устройствам с использованием лишь одного высокоскоростного USB-кабеля Type-C (вместо нескольких шнуров и разъемов, применяемых в настоящее время). Отмечается, что VirtualLink специально создан для VR. Он обеспечивает оптимальную латентность и полосу пропускания, позволяя производителям шлемов и ПК создавать виртуальную реальность нового поколения.
Конечно же, задачи унификации тем или иным способом все равно будут решены, как это уже происходило с другими технологиями, главное — чтобы это произошло в ближайшие годы.
Виртуальная реальность в промышленности
Примеры разнообразного применения технологий VR в промышленности приведены в статье «Виртуальная реальность (VR): лучшие практики».
Финансовые перспективы
Отношение к виртуальной реальности у инвесторов неоднозначное. С одной стороны, VR-шлем можно купить в любом магазине электроники. Только компания Sony с конца 2016 г. продала более 1,5 млн. гарнитур PlayStation VR для своей консоли. Тысячи компаний создают соответствующий контент. Однако с выводом технологии VR на коммерческий рынок разработчики первой волны, видимо, поторопились. В результате пользователи не только не получили обещанного эффекта полного погружения, но и, столкнувшись с несовершенством технологии, разочаровались в ней. Массовое распространение VR/AR сдерживают, во-первых, низкое качество VR-контента, во-вторых, разрозненность платформ и отсутствие единых стандартов при его создании, в-третьих, отсутствие четкой системы дистрибуции, единой площадки, где были бы собраны соответствующие продукты.
Соответственно ведет себя и рынок. В первом квартале 2018 г. мировые поставки гарнитур виртуальной реальности выросли на 16% в годовом сравнении, сообщают эксперты из Canalys. Но во второй календарной четверти этого года, по оценкам IDC, поставки сократились на 33,7%. Впрочем, аналитики уверены, что сложившаяся ситуация имеет временный характер. Появление новых продуктов, прежде всего Oculus Go и HTC Vive Pro, а также новых брендов, должны вернуть рынок в позитивное русло.
Аналитики компаний Gartner и IDC утверждают, что VR/AR приближаются к стадии технологической зрелости. То есть очень скоро виртуальная реальность станет частью повседневной жизни. Технологически все готово к ее массовому использованию.