はじめに
この記事は Panda株式会社 Advent Calendar 2023 20日目の記事です。
Panda株式会社は東京大学松尾研究室・香川高専発のスタートアップで、AR技術とAI技術を駆使したシステム開発と研究に取り組んでいます。
このアドベントカレンダーでは、スタートアップとしての知見、AI・AR技術、バックエンドなど、さまざまな領域の記事を公開していきます。
自己紹介
Panda株式会社Unityエンジニアの雨海陸です。大学入学してすぐにUnityでゲーム開発を始め、研究室や長期インターン等では画像処理や機械学習について学んでいます。
現在はPanda株式会社で本記事でも解説するMRを活用したアプリケーションの開発をしています。
本記事について
Mixed Reality(以後MRと呼ぶ)が近年注目を浴びています。この技術はMeta Quest 3[1]などで遊べるゲームで活用される印象が強いと思いますが、業務にも活用されており、弊社のMR作業マニュアル[2]でもこの技術を使っています。
今回の記事ではMRについて詳しく解説されている、A Texonomy of mixed reality visual displaysという論文の内容を紹介し、MRの定義について考察していきます。
MRの概要
MRは、AR(Augmented Reality)やVR(Virtual Reality)と同様にXR(Cross Reality)に含まれる技術です。
多くの場合、MRはARやVRと区別され、MRは現実世界と仮想世界を一体化する技術のように表現されます。しかし、MRはAR、VRとの明確な境界線はなく、MRはARやVRを含むという意見もあり、MRという言葉の定義は曖昧なものになっています。
そのため、MRの定義についてお話しする前に、まずはMRという用語の成り立ちについて述べたいと思います。
MRの成り立ちについて、Microsoftは以下のように解説しています。
"複合現実" という用語は、Paul Milgram と岸野文郎による 1994 年の論文『複合現実のビジュアル表示の分類』で初めて紹介されました。この論文では、"仮想現実連続体" の概念と、ビジュアル ディスプレイの分類が研究されていました。
これによると、A Texonomy of mixed reality visual displaysという論文で初めてMixed Realityという用語が紹介されたようです。
Mixed Realityという用語はこの論文の著者である Paul Milgram が初めて唱えたもので、この論文では主にMRを実現するためのディスプレイ環境[3]について述べています。論文中ではMRの定義についても言及しており、MRについて考える上で重要なものとなっています。
A Texonomy of mixed reality visual displays
この論文は Paul Milgram と岸野文郎によって書かれたもので、virtual space(仮想空間)とreality space(実空間)を同じディスプレイ環境で表現する際に、どの程度MRが実現できているかによって分類する方法を提案するという内容になっています。その中で、MRやそれに関連する言葉の定義について詳しく述べているので、順を追って紹介します。
Virtuality Continuum
Virtuality Continuum(仮想性連続体)は現実環境と仮想環境が両端となる連続体で、図1のように示されます。
Real Environment(実環境)は現実のオブジェクトのみから成る環境で、現実世界の風景を従来のビデオディスプレイで観察したものなどを含みます。
つまり、現実の情報に仮想の情報が付与されていない状態を指します。
一方、Virtual Environment(仮想環境)はCGによるシミュレーションのみから成る環境です。現実世界のように見えるものでも、現実世界で観測されたデータに基づいていない場合もこれに当てはまります。そして、仮想環境はVRによって体験することができます。
仮想性連続体では、現実環境と仮想環境の区別がつかなくなるほど中心に向かうようになっており、現実環境と仮想環境には明確な境界線がなく、それらの間にはARとAV(Augmented Virtuality)があります。
ARは現実世界に仮想のオブジェクトを付加したものです。
AVはその対となるもので、仮想世界に現実のオブジェクトを加えたものとされ、これらは現実世界と仮想世界のどちらに主軸を置くかによって区別されます。
図1:仮想性連続体の概要
Mixed Reality
Mixed Reality(MR)は、先ほど説明した仮想性連続体において両端を除いた環境であり、現実のオブジェクトと仮想のオブジェクトが並置されることで表現されます。
従って、MRには現実世界に仮想のオブジェクトを加えるARや仮想世界に現実のオブジェクトを加えるAVも、現実のオブジェクトと仮想のオブジェクトの両方が同時に存在するため、どちらもMRに含まれるといえます。
また、仮想性連続体において、現実世界と仮想世界の区別がほとんどつかなくなった場合はARともAVとも言い難いが、MRであるとしています。
現実のオブジェクト と 仮想のオブジェクト
現実のオブジェクトであるか、仮想のオブジェクトであるかの区別は、一見すると明確なものであるが、MRにおいては現実と仮想の境界線が曖昧であるとしています。
例えば、目の前にある物体を直接見たらその物体は間違いなくリアルであり、その物体をカメラで撮影してリアルタイムで見た場合に、映像に写っている物体もリアルであるが、それらのリアリティは全く異なるもののように思われます。
そのため、現実のオブジェクトと仮想のオブジェクトについて、以下のように定義しています。
現実のオブジェクト：客観的に存在するオブジェクト
仮想のオブジェクト：実際には存在しないオブジェクト
当たり前のように思われますが、観察者が見ている物体が実際に存在するかどうかということが非常に重要です。
現実のオブジェクトをリアルタイムで撮影した映像の中にある物体でも、同じものを第三者が観測することができる(実際に存在する)ので、現実の物体であるとされます。
また、CGによって非常にリアルに見える物体で、現実にあるものと区別がつかないものであっても、実際にある物体をサンプリングしたものでなければ、それは現実のオブジェクトではなく、仮想のオブジェクトとされます。
MRディスプレイ環境の分類法
ディスプレイ環境がMRをどの程度実現可能かを評価するために、EWK(Extent of World Knowledge)、RF(Reproduction Fidelity)、EPM(Extent of Presence Metaphor)という3つの指標を提案しています。この指標により、MRを表現するためのディスプレイの技術的要件を決定することができます。
1. Extent of World Knowledge
EWKはディスプレイが表示する世界に関して、それを表現するシステムがその世界に関してどれだけ知識を持っているかを表します。
図2のように、EWKが高いほどシステムは表示している世界に関して詳しいといえます。
例えば、VRはすべてのオブジェクトがシミュレートされるため、システムはその世界の全てを理解しているということになります。
図2:EWKによる分類
2. Reproduction Fidelity
RFはディスプレイが現実のオブジェクトや仮想のオブジェクトをどれだけ忠実に再現できるかを表します。
図3のように、RFが高いほど現実のオブジェクトと仮想のオブジェクトの区別が見た目では判断しにくく、そのシステムはそれらを忠実に再現できると評価されます。
具体的には、ディスプレイが表示するオブジェクトが立体的に見え、現実にあるものだと錯覚することを意味します。
図3:RFによる分類
3. Extent of Presence Metaphor
EPMは観察者がディスプレイが表示する風景の中にどの程度存在していると感じるかを表します。
図4のように、EPMが高いほど没入感を高めることができます。
ヘッドトラッキングによる自由な視点移動や現実のアクションに対するフィードバックなどが有効で、実際にその世界にいると錯覚させる重要な要素となります。
図4:EPMによる分類
以上の3項目を満たすことで、より没入感の高いMRを実現することができます。
現代におけるMRとはなにか
先ほどご紹介した論文は1994年のものであり、30年近く前からMRという言葉が存在していたことがわかります。現代においてはMRという言葉が注目を浴びてきており、この技術が日常生活や業務においても導入されています。
しかし、先ほどの定義によると、MRは以前からARなどといった形で昔から普及しているように感じます。
ここで私は、MRという言葉が登場した当時のイメージと、現在注目されているMRのイメージが少し異なるのではないか、と考えています。
以前から表現されていたMRは、ARやVRといった、現実感、もしくは仮想感が強いものであり、現実のオブジェクトと仮想のオブジェクトの区別がはっきりわかるものでした。
現在では、現実のオブジェクトと仮想のオブジェクトを同時に見るだけでなく、自分の手のオブジェクトに合わせて仮想のオブジェクトを動かしたり、現実のオブジェクトと同様に仮想のオブジェクトが目の前にあるかのように見せることができるような体験を誰でもすることができるようになっています。
これらはARやVRという言葉では表現しにくいため、このような体験を可能とする技術としてMRという言葉を用いられるようになったと考えられます。
よって、現在よく耳にするMRという言葉は、仮想性連続体におけるARとAVにも当てはまらない、現実のオブジェクトと仮想のオブジェクトが同じ環境に存在している状態のことを指していると私は考えます。
また、論文中ではMRやARなどは仮想性連続体に含まれる概念として扱われていますが、それらを実現するための技術をまとめてMR、ARなどと呼ぶことも多いです。
そのため、MRやARなどは本来、現実環境と仮想環境が混ざり合った状態のことを指しますが、それを実現する技術として考えても問題ないでしょう。
これまでMRについて私自身の解釈も交えて述べてきましたが、参考にさせていただいた資料を記事の最後に記載していますので、ぜひチェックしてみてください。
おわりに
今回は「Mixed Reality の定義と移り変わり」というテーマでPanda株式会社 Advent Calendar 2023 20日目を執筆させていただきました。
本記事では、A Texonomy of mixed reality visual displays という論文からわかるMRという言葉の定義と、現代におけるその違いについて紹介しました。
MR関連の概念を完全に理解することは難しく、私自身も執筆する上で非常に悩みましたが、なるべくわかりやすくまとめることができたと思いますので、皆さんがMRという概念を理解するお手伝いになればと思います。
ここまで読んでいただきありがとうございました。
明日は、私雨海による「3日で作るMRゲーム 1日目」です。
本日の記事でご紹介したMRを活用したゲームをNreal Lightというデバイスを使って作っていきます、お楽しみに！
参考文献
- A Texonomy of mixed reality visual displays - December 1994 IEICE Transactions on Information and Systems vol. E77-D, no. 12(12):1321-1329
- 人工現実から複合現実へ - O plus E 1998年3月号（（株）新技術コミュニケーションズ発行）
- Mixed Reality とは - Microsoft
- xRとは？ - キヤノンITソリューションズ
- 注目の「XR」(クロスリアリティ)とは？ - KDDI
Discussion