これは時雨堂製品の宣伝を含みます
まとめ
- WebRTC で超低遅延の 4K 120fps は 7.5 Mbps で実現できる
- 4K 120fps は鏡と脳が勘違いするレベル
- WebRTC SFU Sora で 4K 120fps を大規模に配信することができる
デモ配信
自社のオンラインイベントにて、 AV1 4K 120fps の Sora Cloud を利用したデモ配信を 50 人近くのかたに視聴していただきました。
左が受信した映像で、右が送信した映像です。参考値ではありますが 120 ミリ秒で配信ができてることが確認できました。
色々チューニングしたバージョン、ここまで低遅延にできます。
8Kリアルタイム伝送システム
（有）ミサオネットワーク | 出展者詳細ぺージ | コンテンツビジネスとプロフェッショナルのためのメディア総合展示会 INTER BEE 2024
この 8K リアルタイム伝送システムを時雨堂の WebRTC SFU Sora と組み合わせたらどうなるか、というのがこの記事の主旨です。
伝送システム自体にの詳細については触れませんのでご理解ください。
詳細はミサオネットワーク様にお問い合わせください。
AV1 4K 120fps
AV1 8K リアルタイム伝送システムの開発をしている人が知り合いということで、展示会前に実機を見せてえることになったので、見に行ってきました。
本命の 8K 30fps ではなく、おまけの 4K 120fps があまりにも凄かったので、それについて書いています。
AV1 4K 120fps の実現
4K 120fps は HDMI 2.1 の最大値である 48 Gbps をリアルタイムにエンコードする必要があり、ブラウザなどでは送信することは実現できません。送信するには専用ハードウェアを用意する必要があります。
受信側も普通にブラウザでリアルタイムに再生できません。かならず AV1 のハードウェアデコーダーが必要になります。
ソフトウェアの場合は徐々に遅延していって 1-2 秒程度遅延してしまいます。
今回ミサオネットワーク様の 8K リアルタイム伝送システムでは 4K120fps の配信を弁当箱サイズで実現されています。
WebRTC SFU Sora との組み合わせ
WebRTC と AI の組み合わせ - Speaker Deck
公開情報なので書くと、このシステムは WebRTC Native Client Momo を魔改造したものを使っているとのことです。
Momo は WebRTC SFU Sora を利用して配信することができるため、Sora のクラウド版の Sora Cloud で 4K 120 fps を試して貰いました。
結果的として 4K 120fps が安定して超低遅延で配信ができることが確認できました。普通に 10 箇所に配信して問題ないレベルでした。
東京から 1 度、大阪にある Akamai Connected Cloud にある WebRTC SFU Sora を経由して、東京で 60 インチ液晶で見ていたのですが、あまりにな普通すぎて、鏡と脳が勘違いするレベルでした。
ビットレートは最初は余裕を持たせて 15 Mbps で配信していましたが、試しに 7.5 Mbps に下げても、特に違和感ありませんでした。7.5 Mbps になると送るパケット量が少ないこともあり、より低遅延になった気がします。
7.5 Mbps でこれができると普通にスマートフォンのテザリングで実現できてしまいます。
また、専用線などではなく、インターネット越しで実現できるのは驚きとしか言えません。WebRTC を始めた時には想像もできませんでした。
4K 120fps を受信した時の情報
ちなみに、平均ジッターバッファは 15 です[1]。これがどれだけスゴイ事かはわかると思います。
WebRTC による超低遅延配信の今
4K 120fps が超低遅延で配信できるというのは、WebRTC の進化を感じます。
実際に 4K 120fps が必要なシーンは限られていますが、遠隔系のシステムで需要があると思います。
ブルトーザーやパワーシャベルを 4K 120fps で操作してみたくありませんか？
INTER BEE 2024 に 4K 120fps を出展される層なので是非見に行きましょう！[2]
Discussion