Смешанная реальность

Континуум виртуальности и Континуум медиальности

В 1994 Пол Милграм и Фумио Киширо определили смешанную реальность как «…всё между крайностями виртуального континуума.» (VC)^[2], где виртуальный континуум распространён от полной реальности до полностью виртуального окружения с дополненными реальностью и виртуальностью внутри него.

Этот континуум состоит из двух осей Медиальной реальности концепта Стива Манна, реализуемой посредством шлемов, носимых компьютеров и фотографических систем, созданных им в 1970-х и начале 1980-х,^{[4][5][6][7][8]} в нём вторая ось является медиальным континуумом, который включает, например, Сниженную реальность (которая реализована в шлемах либо очках, блокирующих рекламу или заменяющие её на полезную информацию)^[9].

«Принято считать, что окружение виртуальной реальности (VR) — такое, где участник-наблюдатель полностью погружён и взаимодействует с полностью искусственным миром. Такой мир может копировать свойства некоторых реальных окружений, существующих либо вымышленных; он так же может выйти за грани физической реальности, создавая миры, где физические законы, регулирующие пространство, время, механику, материальные свойства и т. д., не действуют. Что может быть упущено из вида здесь, это то, что понятие VR часто используется для обозначения ряда прочих окружений, к коим полное погружение и искусственность не обязательно относятся, но которые находятся где-то внутри виртуального континуума. В этой статье мы сфокусируемся на частном подклассе VR-технологий, которые включают объединение реальных и виртуальных миров, и который мы называет в целом как Смешанную реальность (MR).»

Межреальная физика

В контексте физики, термин «система межреальности»^[10] имеет отношение к системе виртуальной реальности совмещённой с деталями реальности. Статья из выпуска Физического Обзора E за Май 2007^[11] описывает систему межреальности, как включающую в себя реальный физический маятник, подсоединённый к маятнику, существующему только в виртуальной реальности. Эта система имеет два стабильных состояния: «Двойная реальность», где движения маятников некоррелированы, и «Смешанная реальность», где маятники коррелированы по фазе. Термины «смешанной реальности» и «межреальности» в контексте физики чётко определены, но в других полях могут отличаться.

Многие российские и зарубежные эксперты пытаются обозначить границы терминов и даже выделяют стадии перехода от реального к виртуальному миру, например, «Mixed Reality in Architecture, Design and Construcrion» Xiangyu Wang и Marc Aurel Schnabel из Университета Сиднея, а также «The Engineering of Mixed Reality Systems» под руководством Emmanuel Dubois. В своих исследованиях авторы сходятся во мнениях, что смешанной реальностью называется технология, где виртуальный и реальный мир взаимодействуют. Некоторые специалисты идут дальше и выделяют реальную виртуальность или Real Virtuality (RV) — когда человек начинает существовать в виртуальном мире. Общепризнанных стандартов пока не существует, но дословно выделяются следующие стадии перехода к RV.

• Реальный мир мы видим сами, без каких-либо дополнительных гаджетов и технологий.
• Виртуальная реальность (VR) полностью отсекает реальный мир, человек видит картинку, нарисованное, спроектированное окружение.
• Дополненная реальность (AR) частично заменяет реальный мир, на существующий мир накладывается виртуальное изображение. По сути это подсказка или голограмма, нарисованная поверх реального мира. Важно понимать, что виртуальная картинка не дает ощущение реального расположения и взаимодействия объектов с окружающими миром. И именно в этом ключевое отличие дополненной реальности от смешанной реальности.
• Смешанная реальность (MR) позволяет видеть взаимодействие реальных и виртуальных объектов. Человек уже может оценить передний и задний план, как объекты расположены относительно друг друга и, самое важное — появляется точка соприкосновения реальных и виртуальных объектов.^[12]

Будучи темой глубокого исследования, MR нашла множество путей применения, являющихся очевидными в искусстве и сфере развлечений. Тем не менее, MR нашла применение и в бизнесе и образовании в виде данных систем:

• IPCM (Interactive Product Content Management) — Интерактивный менеджмент содержания продуктов

Отходя от статичных каталогов продуктов в сторону интерактивных 3D «умных» цифровых копий. Решения состоят из программного обеспечения с масштабируемой моделью лицензирования.

• SBL (Simulation Based Learning) — Симуляционное обучение

Отходя от электронного обучения в сторону симуляционного — передовому в передаче образовательных знаний. Симуляционный/VR-тренинг, интерактивное экспериментальное обучение. Программные и отображающие решения с масштабируемой моделью лицензирования разработки программ обучения.

• Военный тренинг

Боевая реальность симулируется и представляется в комплексных многослойных данных при помощи HMD.

• Виртуализирующее Окружение с Реальными Активами (Real Asset Virtualization Environment (RAVE))

3D-модели производственных активов (например процесс производственной машинерии) встроены в виртуальное окружение и связаны с данными в реальном времени, сопутствующими данному активу.

В строительной индустрии смешанная реальность широко используется для визуализации BIM-проекта непосредственно на строительной площадке.

Устройства для отображения MR:

• 
  CAVE
• 
  Индикатор на лобовом стекле
• 
  Шлем виртуальной реальности
• 
  Планшетный компьютер
• 
  Монитор (устройство)
• 
  Карманный персональный компьютер
• 
  Сотовый телефон
• 
  Handheld PC
• 
  Смартфон

• Примеры проектов Лаборатории смешанной реальности в Национальном университете Сингапура / Keio University.
• Примеры дополненной реальности с системой позиционирования на основе зрения.
• Ars Electronica
• wIzQubes — Примеры Смешанной реальности с системой позиционирования на основе зрения для образования.
• EyeToy
• BAMZOOKi
• FightBox
• Nokia Point & Find
• Interactive Multimedia Lab Исследовательская лаборатория в Национальном Университете Сингапура, сфокусированная на мультимодальных интерфейсах MR.
• Mixed Reality vs. Mixed Realities
• Центр исследования в вычислениях и искусствах и Калит2 в UCSD — дом для многих проектов MR, включая MR перформансы от Мишы Карденас и Эль Мерманд
• The Dawn of Mixed Reality Введение в MR и примеры проектов
• WOWCube^[13] (разработка калифорнийской компании), который позволяет играть в игры в смешанной реальности, на поверхности трехмерной головоломки.^[14]

• Дополненная реальность
• Жизнеподобный опыт
• Опосредованная реальность
• Игры смешанной реальности
• Симулируемая реальность
• Супранет
• Телексистенс
• Визуально-тактильная MR
• Виртуальная реальность
• Вирактуализм
• Смешанное пространство
• Осязательный интерфейс пользователя

• Fleischmann, Monika; Strauss, Wolfgang (eds.) (2001). Proceedings of «CAST01//Living in Mixed Realities» Intl. Conf. On Communication of Art, Science and Technology, Fraunhofer IMK 2001, 401. ISSN 1618—1379 (Print), ISSN 1618—1387 (Internet).
• Interactive Multimedia Lab A research lab at the National University of Singapore focuses on Multi-modal Mixed Reality interfaces.
• Mixed Reality Geographical Information System (MRGIS)
• Costanza, E., Kunz, A., and Fjeld, M. 2009. Mixed Reality: A Survey Costanza, E., Kunz, A., and Fjeld, M. 2009. Mixed Reality: A Survey. In Human Machine interaction: Research Results of the MMI Program, D. Lalanne and J. Kohlas (Eds.) LNCS 5440, pp. 47-68.