Rememory SDKを使ってRememoryアプリで撮影したボリュメトリック映像をUnityで再生する
はじめに
2022年1月に、Rememory SDKが公開されました👏
Rememory SDKは、ボリュメトリック映像の撮影・共有プラットフォームアプリRememoryで撮影した映像をUnityにエクスポートが可能なSDKです。
本記事では、Rememoryアプリで撮影したボリュメトリック映像を、Rememory SDKを介してUnityで再生するまで試したいと思います。
※ 2022年2月中旬現在に公開されているRememory SDKベータ版の解説になります。
Rememory : https://rememory.jp
Rememoryは、立体映像の撮影・編集・視聴を可能にする次世代コンテンツのプラットフォームです。 アーティストやパフォーマー、クリエイターはボリュームビデオを手軽に撮影してコンテンツを公開することができ、 撮影しない人も彼らが公開したコンテンツをARで自分の部屋に呼び出して視聴するできます。さあ、アプリをダウンロードして、次世代コンテンツを楽しみましょう！
動作環境
- Unity 2019.4.22f1
- Rememory SDK v1.0.0 (beta)
- Rememory アプリ v1.0.8
手順
1. LiDAR搭載iOS端末にRemmeoryアプリをインストールし、ボリュメトリック映像を撮影
2. 撮影したキャプチャをRememory SDKへアップロード
3. Rememory SDK (unitypackage)をダウンロードしてUnityプロジェクトに追加
4. Unityプロジェクトに必要Packageの追加
5. Rememory SDKからアップロードしたキャプチャのダウンロード
6. キャプチャの指定・サンプルシーンの再生
1. LiDAR搭載iOS端末にRemmeoryアプリをインストールし、ボリュメトリック映像を撮影
まずはRememoryアプリをiOS端末にインストールします。LiDAR搭載のiOS端末を準備する必要があります。
Rememoryアプリ : https://apps.apple.com/jp/app/rememory/id1547106049
インストール後、Rememoryアプリから撮影を行います。撮影後、編集機能でサイズを変更したり、Near/FarClip (描画を行う領域)など設定することができます。
アプリからはARで再生することができます。
様々な角度・じっくりと見たい箇所で一時停止して近づいて楽しめるのがボリュメトリックビデオの面白さの一つだと思ったので、今回は知り合いのマジックパフォーマンスを撮影してみました。
どの角度から見てもタネがわからない...。
■ 撮影中の様子
■ 撮影した映像をARで再生している様子
2. 撮影したキャプチャをRememory SDKへアップロード
撮影・編集したキャプチャをRememory SDKへアップロードします。Rememoryアプリの画面からアップロードすることができます。これでアプリからの準備は完了です。
※ ↓ 画像は Rememory Unity SDK | よくある質問 FAQ より引用
3. Rememory SDK (unitypackage)をダウンロードしてUnityプロジェクトに追加
下記のページから、unitypackageをダウンロードします。
※ ダウンロード及びSDKの利用には、利用規約に同意する必要があります。
ページ : https://rememory.jp/jp/sdk.html
ダウンロード後、unitypackageをUnityへimportします。
4. Unityプロジェクトに必要Packageの追加
必要パッケージであるEditor CoroutinesをPackage Managerwからインストールします。
5. Rememory SDKからアップロードしたキャプチャのダウンロード
Rememory SDKのコントロールパネルを開き、アカウントにログインし、アップロードしたキャプチャをダウンロードします。
ダウンロードのやり方は、公式ドキュメントをそのまま参考に行いました。
簡単にダウンロードを行うことができます。
参考 : Rememory SDK ドキュメンテーション (3) Rememoryアプリでアップロードしたキャプチャのダウンロード
6. キャプチャの指定・サンプルシーンの再生
RememorySDK/Sample/SampleSceneを開き、CapturePlayerオブジェクトのInspectorのCaptureDirに、ダウンロードしたキャプチャのフォルダをドラッグ&ドロップします。Rememory Player is Setupと表示されたので、これでセットアップが完了です。
Unityを再生したところ、無事にボリュメトリック映像が再生されました。
様々な視点から映像を楽しむことができます！
おまけ
Rememory SDKの中身は基本DLL化されているので、スクリプトの中身はいじれませんが、メインのシェーダーはSDK内に含まれているので、ハック的なやり方でシェーダーを編集し、自分好みのエフェクトを追加することも可能です。
シェーダー少しいじってカスタマイズし、Looking Glass Portraitで再生してみた例
Looking Glassと相性が良いです。
おわりに
Rememory SDK (beta)を試し、Rememoryアプリで撮影したボリュメトリック映像をUnityで再生してみました。また、SDKに含まれているシェーダーを改変し、Looking Glass Portraitで再生してみました。
今までRememoryアプリで撮影した映像は、Rememoryアプリ内のARで再生するのみでしたが、SDKの登場により、幅広い領域で活用ができそうです。
参考
- Rememory Unity SDK Documentation
https://rememory.jp/app/sdkdocs/jp/index.html - Rememory SDK
https://rememory.jp/jp/sdk.html - Rememory
https://rememory.jp/jp
Discussion