Mini-XR: VR/ARプラットフォームの分類学
okuokuMini-XRは単一のCアプリケーションを各種VR/ARプラットフォームで動作させることを目標にすることになる。WebXRは有るけど、それだとWebブラウザ制約を越えるのが大変になっちゃう。OpenXRはWebXRに比べると複雑すぎる。このため、Mini-XRはWebXRのCバインディング+αを目指す。
機材の分類学
(TBD: ここに図を入れる)
ざっくり分けて3種類のフォームファクタ、それぞれに2種類程度のusageがある。
Fixed Immersive VisionとHandheldはよく似ているが、フォームファクタをきっちり分けるのは、それぞれで同じコンテンツを使うわけにはいかないため。例えばHandheldでは片手または両手が塞がっているのが前提となるため、一般的なゲームコンテンツを展開するのは割と難しい。
Fixed Immersive Vision
古くはPlayStation2のEyeToyから存在する、固定ディスプレイ(+ 固定Camera)で運用されるもの。そんなもん今どき有るのかというと難しいもんがあるが、CVの近年の発展で安いカメラでも割とrobustに認識タスクをこなせるため、ARでも可能性はある気がする。
使われ方はMagic WindowとMagic Mirrorの2種類が考えられる。Magic WindowはTVの奥に仮想世界が広がるもので、Magic Mirrorは搭載カメラの映像フィードにARコンテンツを重ねるものになる。Magic Windowは手持ち(= スマホやタブレット)のARと同じものだが、合成を実現する良い方法がない。
いわゆるライトフィールドディスプレイも大抵は据え置きなためこちらに分類される(Nintendo 3DSのような例外は有るが...)。視差バリアを使用した単純な2面ディスプレイから、最近はLooking Glassや Sony ELF-SR1 のような多視点ディスプレイも市販されている。例えばLooking Glass Portraitは 48視点画像を同時にレンダリングする 必要があり、ELF-SR1はデバイスが認識した視線に応じた映像を2視点レンダリングする必要があるが、WebXRのようなインターフェースはこれを自然に表現できる。
ライトフィールドディスプレイはレンチキュラーレンズを使用して自作することも可能ではある。
Handheld Vision
いわゆるスマホAR。更にInカメラOutカメラで2種類考えられる。一般にスマホARで連想されるのはOutカメラを使用したMagic Windowと言える。InカメラのMagic MirrorスタイルなARもできなくはないが、現実的なユースケースが顔に何か貼るくらいしかない(が、その割にはAndroidもiOSもサポートは充実している -- 顔認識認証等で同じ技術が利用されているため)。
Headset
いわゆるVRヘッドセット。これは本質的にMagic Window形式しか存在しない。HoloLensのようにシースルータイプのものも存在する。
合成方式の分類学
合成方式は WebXRのAR Moduleに3種類規定されている 。 ※ ここでは分類を借りているだけで、紹介している各社のWebXR実装が実際にこれらのAR Moduleを実装しているわけではない。
opaque
opaque は合成しないことを表わす。いわゆる一般的なVRヘッドセットはこの方式と言える。
alpha-blend
alpha-blend 合成はカメラフィードに描画した画像を合成する。 Varjo や Lynx がこの方式になる。また、PC向けViveは SRWorks SDK を使用してAR機能を実装できる。これらのヘッドセットはユーザの目の位置にカメラを搭載していて、そのカメラとARコンテンツを合成することができる。
opaque しかできないシステムであっても、外部の全天球映像との合成でこれを実現できる可能性がある。
いわゆるVRヘッドセットは通常ARに必要なカメラは備えていない。人間の手が目線よりも下に付いていて、通常の目線も多少下向きに付いているという事情があるため、デバイスの位置を検出するにはデバイス下部にカメラを付ける方が有利と言える。通常のヘッドセット用の追加カメラとしてZED-Mini等がある。
additive
additive 合成は透明スクリーンに画面を投影して合成する。Magic LeapやHoloLensがこの方式。
透明スクリーン自体は現実の窓に貼ったりすることも可能だが、視点の移動に耐えられないためARコンテンツに向かない。いわゆるハーフミラー合成(ペッパーズ・ゴースト)は歴史的によく実現されているが装置がおおがかりになる。過去にはDMM VR シアター等があり、オクルージョンが実現できない分は事前計算したライティングでカバーするなどの工夫が見られた。
眼球に対する直接投影もこちらになる。今のところいわゆるARアプリに耐える実装が無いが実装を小型にできるため将来的には可能性がある。