Instant-NGPをMeta QuestでVRとして見る方法
こんにちは！！Asterです！！！
本日はInstantNeRFで生成した3DSceneをVRで見る方法です！！！
めちゃめちゃ簡単です！！！！！
InstantNeRFとは
「NeRF」(Neural Radiance Fields)は、さまざまな角度から撮影した複数の写真から、自由視点画像を生成する技術です。深層学習によって生成された画像を通じて、好きな視点から対象物を見ることができます。
要するに動画から3Dシーンをつくることができるということですね。
githubはこちらです。
Instant-NGPの環境構築はこちらがわかりやすいと思います。
VRの仕方
まず、instantNeRFを立ち上げてください
(19044\aster\NeRF\NeRF-VRの部分とdataの部分は自身の環境に合わせてください)
instant-ngp.exe --scene C:\Users\19044\aster\NeRF\NeRF-VR\instant-ngp\data\meijo3
するとこの画面が出てくると思います.
次にMeta QuestをQuestLinkでPCにつなげましょう。
Quest Linkを押し
PCと接続したら起動しましょう。
こんな画面が見えると思います。(メニューバーからデスクトップをタップして、モニターを出しましょう。)
次にGithubに「VRに入る前に、まずトレーニングを終了する（"Stop training "を押す）か、事前にトレーニングしたスナップショットをロードしておくと、最大のパフォーマンスを発揮することができますので、強くお勧めします。」と書かれているので、以下のボタンを押しトレーニングを止めましょう。
StartTrainingになっていることを確認したらVR側で「Connect to VR/AR headset」を押しましょう
※もし「Connect to VR/AR headset」が見つからない場合、Instant-ngpが最新ではない可能性があるため、最新のInstant-ngpを入れなおしましょう。
VR側の動作は以下の通りです。
以下のようにVRで見れるようになります!!!
Discussion