RTMP/SRTを使用してVR360°配信をしてみた。

環境

構成図

自宅だったため、長いLANケーブルが余っていなかったのでやむなく中継器を介しています。

• RTMP
  

• SRT

  • エンコーダーが間に入ります。
    

機材

• カメラ

  • QooCam 8K Enterprise

• 視聴デバイス

  • Meta Quest3

• エンコーダー

  • VEGA-2002

カメラ周りのセットアップは下記記事を参考にしました。

https://digitalhobby360.jp/2021/yotube-vr-360-haisin-8k-enterprise/
https://digitalhobby360.jp/2022/real-time-vr-live-streaming-srt/

サーバー

公式見ればある程度分かると思うので注意点だけ記載します。

• SRS
  • オープンソースのストリーミングサーバー
  • UbuntuベースのVMを使用してください。(AWSのインスタンスでもなんでもOKです)
    • 一番はDockerでやるのが早いかもです。
  • HEVC(h265)を使用したい場合はUnstable版ですがver6.0を使用してください。
  • ビルドしてインストールする際にオプションが適宜必要になると思います。
    • 例

    ./configure --h265=on,--srt=on
    

• CDN
  • 単なるテスト目的だといりません。視聴負荷が少ないはずなので。
    • 自分のテスト環境では別件で負荷テストなどいろいろしていたのでそのまま利用した形です。

視聴Player

• UnityAPP

  • 主にAssetはHISPlayerを使用。
    • HLS/h265対応してるアセットのなかでは１番安かったと思う。
      • しかしながら、このアセットは60秒までしか再生できないので、それ以上の配信や再生を行いたい場合はサポートに問い合わせて別途契約が必要なようだ。

• VideogPlayer

  • 弊社の動画PlayerでWeb版での確認用に使用している。

プロトコル/解像度/コーデックなど

• RTMP
  • 8k/4k
  • h264/h265
• SRT(今回使用したハードが4kまでの解像度対応だったため)
  • 4k
  • h264/h265
• HLS

視聴

• VideogPlayer
  • 

RTMP/SRTで送ったものをHLS視聴しています。(RTMPとSRTの速度比較などは、別記事でやろうと思っていますので今回は省略してます。)
360°にしたときの没入感はあったのですが下を見るとPlayer側で無理やりつなぎ合わせているような描写が発生していました。
没入感に関してはgoodです。もっときれいな自然の中や町の喧騒の中とかなどだと、よりよいのかなと思います。

• キャスティングしてみたものです。(転送しているものなので少し荒くなります。)
  

• Unity App

  • https://hisplayer.com/
  • テクスチャーの問題か何かで少し白んでしまっているのが課題ですね。ただこれにオブジェクトなどを足したり、コミュニケーションなどをとれる空間にすれば、バーチャル空間での視聴体験をいっそうより良いものにできるかなと思ったりもします。

感想

• 動画に関して、メタクエストで再生したときに、自分のアバターの手などが見えたりなどするのが没入感高くてよかった。
  
• カメラ
  • やはりこの値段のものになると画質はきれい。
  • スマホアプリから操作できるのはいい。
    • しかしながら以前に弊社で購入していたVuzeXRの操作アプリのOS対応が古いVerのみだったので、やや不安。(QooCamは大丈夫だと信じたい。)
  • バッテリーの消費と、熱を抑えるためのファンの音が気になりますね。
    • 実用ではノイズ対策をすべきかと思う。
  • 普通のVRカメラなどだと、対象が風景などのバックグラウンドのようなもの(距離が離れているもの)のほうが相性が良いなと思いました。
    • 近くだと3Dカメラの方が軍配上がる気がします。(3Dカメラもいずれ体験したいと思います。)
• Player側
  • VideogPlayer
    • メタブラウザでも視聴ができたので、うまくハンドトラッキングがきいてよかった。
  • UnityAppのほうは、いろいろ改善が必要かと思った。
    • カメラ映像より白んだ色になっていたなどが見られました。
      • こっちは別記事にしようかと思います。

さいごに

カメラを専門としているわけではないので、少し苦労しましたが、一応形になってよかったです。
VR×動画系はハードがあまり普及していないこと、手軽ではないことで広まっていませんが、このようなカメラの廉価なもの＆廉価な視聴デバイスが出てくれば、いずれもっと広まるのかなと思いました。

弊社では新規事業の一環でこういった新しいソリューションの模索にも挑戦しています。気になる方はぜひ連絡ください。