これは時雨堂製品の宣伝を含みます
まとめ
- WebRTC で超低遅延の 4K 120fps は 7.5 Mbps で実現できる
- 4K 120fps は鏡と脳が勘違いするレベル
- WebRTC SFU Sora で 4K 120fps を大規模に配信することができる
デモ配信
自社のオンラインイベントにて、 AV1 4K 120fps の Sora Cloud を利用したデモ配信を 50 人近くのかたに視聴していただきました。
左が受信した映像で、右が送信した映像です。参考値ではありますが 120 ミリ秒で配信ができてることが確認できました。
色々チューニングしたバージョン、ここまで低遅延にできます。
8Kリアルタイム伝送システム
世界最小、最軽量サイズ の 8K 対応 AV1 リアルタイムエンコーダー
当社の開発した 8K 対応 AV1 エンコーダーは小型省電力設計の為、今まで搭載が難しかった ドローンや移動局等にも積載が可能な為ビジネスの幅が広がります。 現在の最先端コーディックである AV1 に対応することにより今までは不可能であった無線回線を 使用した狭帯域での実用的な品位での 8K 伝送の他、4K120p による超低遅延伝送にも対応 します。伝送プロトコルには Web 標準である WebRTC を採用することにより低遅延伝送に よる高いリアルタイム性と回線品質適応性を兼ね備え多点同時受信、インターネットブラウザでの 受信も可能です。
この 8K リアルタイム伝送システムを時雨堂の WebRTC SFU Sora と組み合わせたらどうなるか、というのがこの記事の主旨です。
伝送システム自体にの詳細については触れませんのでご理解ください。
詳細はミサオネットワーク様にお問い合わせください。
AV1 4K 120fps
AV1 8K リアルタイム伝送システムの開発をしている人が知り合いということで、展示会前に実機を見せてえることになったので、見に行ってきました。
本命の 8K 30fps ではなく、おまけの 4K 120fps があまりにも凄かったので、それについて書いています。
AV1 4K 120fps の実現
4K 120fps は HDMI 2.1 の最大値である 48 Gbps をリアルタイムにエンコードする必要があり、ブラウザなどでは送信することは実現できません。送信するには専用ハードウェアを用意する必要があります。
受信側も普通にブラウザでリアルタイムに再生できません。かならず AV1 のハードウェアデコーダーが必要になります。
ソフトウェアの場合は徐々に遅延していって 1-2 秒程度遅延してしまいます。
今回ミサオネットワーク様の 8K リアルタイム伝送システムでは 4K120fps の配信を弁当箱サイズで実現されています。
WebRTC SFU Sora との組み合わせ
WebRTC と AI の組み合わせ - Speaker Deck
公開情報なので書くと、このシステムは WebRTC Native Client Momo を魔改造したものを使っているとのことです。
Momo は WebRTC SFU Sora を利用して配信することができるため、Sora のクラウド版の Sora Cloud で 4K 120 fps を試して貰いました。
結果的として 4K 120fps が安定して超低遅延で配信ができることが確認できました。普通に 10 箇所に配信して問題ないレベルでした。
東京から 1 度、大阪にある Akamai Connected Cloud にある WebRTC SFU Sora を経由して、東京で 60 インチ液晶で見ていたのですが、あまりにな普通すぎて、鏡と脳が勘違いするレベルでした。
ビットレートは最初は余裕を持たせて 15 Mbps で配信していましたが、試しに 7.5 Mbps に下げても、特に違和感ありませんでした。7.5 Mbps になると送るパケット量が少ないこともあり、より低遅延になった気がします。
7.5 Mbps でこれができると普通にスマートフォンのテザリングで実現できてしまいます。
また、専用線などではなく、インターネット越しで実現できるのは驚きとしか言えません。WebRTC を始めた時には想像もできませんでした。
4K 120fps を受信した時の情報
ちなみに、平均ジッターバッファは 15 です[1]。これがどれだけスゴイ事かはわかると思います。
WebRTC による超低遅延配信の今
4K 120fps が超低遅延で配信できるというのは、WebRTC の進化を感じます。
実際に 4K 120fps が必要なシーンは限られていますが、遠隔系のシステムで需要があると思います。
ブルトーザーやパワーシャベルを 4K 120fps で操作してみたくありませんか？
-
RTPパケットがジッタバッファに取り込まれてから再生されるまでの遅延が 15 ミリ秒ということです。 ↩︎
Discussion