nerfstudio × Volinga AI で撮影したNeRF作品をUE5で表示する！！

こんにちは！！Asterです！！！
本日はnerfstudio × Volinga AI　で撮影したNeRF作品をUE5で表示までの流れを記事にしました．
お手軽にできますので，ぜひご覧ください．

nerfstudioとは

Nerfstudioは、様々なNeRFを使用することができるプラットフォームです。

nerfstudioは以下のNeRFのモデルを使用することができます．(2023/05/24調べ)

Included Methods

・Instant-NGP
・Mip-NeRF
・NeRF
・Nerfacto
・TensoRF

Third-party Methods

・Tetra-NeRF
・Instruct-NeRF2NeRF
・K-Planes
・LERF

https://docs.nerf.studio/en/latest/index.html

Volinga AIとは

Volinga AIは、メディアプロダクションのための最初のプロフェッショナルなNeRF Suiteです。
nerfstudioと掛け合わせることで、UE5内でNeRFを表示することができます。

https://volinga.ai/

nerfstudioでまずは画像データで学習させよう

nerfstudioの環境構築に関しては,こちらからご覧ください。

ns-train volinga --data /path/to/your/data --vis viewer

でまずは、学習しましょう。

コマンドを実行すると以下のような画面になると思います。

緑の枠で出てる以下のようなURLをwebで見るとこんな感じで見れると思います。

https://viewer.nerf.studio/versions/23-05-15-1/?websocket_url=ws://localhost:7007

学習が終わるまで待ちましょう。

上記の画像のように学習が終わったら、

nerfstudio\outputs\colmap\volinga\2023-06-17_215753\nerfstudio_models

この階層にある.ckptファイルがあるのを確認します。この.ckptファイルをVolinga AIで使います。

Volinga AIにアップロードしよう。

まずはこちらでBeta waitlistに登録しましょう。(近々waitlist登録いらなくなるかも)

登録して、waitlistが通ったら、アカウントを作成しましょう.

Invitation　Codeに関しては、メールで送られてくるはずです。

アカウントを作成したら、Login しましょう。
Loginしたら、こんなページになるはずです。

このページの赤枠の部分にnerfstudioで出力したcheckpoint(.ckptファイル)をDrag ＆Drop しましょう。

名前は適当に入れて、Hastagに関しては #nerfstuio #nvol　を入れておきましょう。

そしたらUpLoadしてください。
UpLoadするとこんな画面になると思います。

しばらくwebブラウザを閉じずに待ってください。

UpLoadが終わったら、

次はUnreal Engine5内でNeRFを表示出来るようにしましょう。

Unreal Engine5内でNeRFを表示する!

まず、必要なものをダウンロードしましょう.
この赤枠の中にある。UEのバージョンに合うPluginと 一番下のliceseをクリックして、ダウンロードしましょう。

そしたらUE5でプロジェクトを作りましょう.
今回はVirtual Productionのプロジェクトで作りました。

プロジェクトが立ち上がったら、まずは、Pluginを入れましょう。
Pluginは、先ほどダウンロードしたPluginをUE5内に追加しましょう。

入れ終わるとこんな感じでvolingaのPluginが出てくるようになるはずです。
checkButtonをチェックをつけて一度プロジェクトを終了してください。

次にlicenseを登録します。Pluginを入れるとこのようにVolingaRendererのフォルダが出来ると思います。この時、プロジェクトのフォルダではなく、UE5そのもののフォルダなのでご注意ください。

この階層にLicenseというフォルダを作成し、

先ほどダウンロードしたLicense.incファイルをいれてください。

次にプロジェクト内の設定をしていきます。
Projectを立ち上げたら、VolignaAIでダウンロードしたnvolファイルをコンテンツフォルダ下に入れましょう。

次にActorを追加で以下の二つがあるか確認します。

次に上記のVolinga Base Actorをアウトライナーの方にDrag ＆ Dropしましょう。

次にVolinga Base Actorの詳細画面のVolinga ConfigをICVFXに変更しましょう。

次に,Volinga RendererのNVOLに先ほど入れたnvolファイルを設定しましょう。
入れたら、矢印ボタンも押して適用させましょう。

次に下の赤枠のボタンを押してください。

すると以下のようにUE5内でNeRFが見れるようになると思います。
https://twitter.com/Aster_NeRF/status/1670072535726309376?s=20

#まとめ
今回は、nerfstudio×VolingaAIによるUE5内でのNeRFをやりました！！
今後もNeRFの発信をしてきます！！