KRANKY GEEK WEBRTC SHOW メモ

概要

Kranky Geek – RTC Events

WebRTC 系で一番有名なイベント。今回はオンライんで、YouTube で見ることができたので大変雑なメモとスクショでまとめておきます。

ライブ動画自体は公式にまだ公開されていないので公開をお待ちください。

Developing a cross-platform WebRTC API using Rust and WebAssembly

Daily の発表。Web SDK / React Native SDK しかないので、iOS / Android や macOS / Win などの SDK を提供するにはどうしたらいいかという話から Rust + WebAssembly で行くときめて、その課程や結果の話。

結論としてはある程度動くところまで来たとのこと、ただ恐ろしいほどの修羅の道をたどっている感じが否めなかった。今回の発表で一番面白い発表だと思う。

Implementing a custom media processing pipeline using WebAssembly

Dolby による独自音声コーデックを DataChannel 経由で頑張って送った発表。リップシンクなど考慮されておらず、やはり音声専用の RTP には DataChannel は勝てないため、いろいろしんどそうという印象。

独自はブラウザレイヤーで頑張るのが大変。

Implementing WebTransport and WebCodecs in an Open Source Media Server

Intel の発表。WebTransport と WebCodec を使ってみたという話。実装は WebAssembly で RTP.パケタライザーを実装して RTP over WebTransport を実現。WebCodecs は H.264 SVC / VP9 kSVC を利用しての動作確認。

結局 RTP か、というお気持ちになって悲しいが、さすがは Intel 作り込んできてる。

Managing CPU and network resources in the browser for large video grids

Agora.io の発表。8x8 の 64 人を同時に表示するために CPU やネットワークをどうかなりしていくかという話。凄いしっかり検証しての報告。リアルタイムに統計情報が表示されるサンプルアプリ良かった。

Extending Matrix’s E2EE calls to multiparty

Matrix の発表。Matrix はいろいろな OSS な SFU を使っており、それらを組み合わせた分散環境でどう E2EE を実現したのかという話。プロトコル統一しないと苦労するんだなという他人事で見ていたのであまり記憶に無い。

WebRTC annual update 2021

Google による、WebRTC の発表。

AV1 がもう利用可能で、m96 からは SDP 的に AV1 が採用された。今後も AV1 のエンコーダパフォーマンスやクオリティは改善していく。SVC API 用意する。dav1d をデコーダにりようすることで libaom と比較してデコードが 1.5 倍はやくなる。ただしまだ VP9 より 2 倍遅い。

Breakout Box の話。Track から直接うまいこと音声や映像を取得して加工ができるようになる。

MediaStreamTrack Insertable Streams (a.k.a. Breakout Box) - Chrome Platform Status

dcSCTP の話。usrsctp をやめて dcSCTP になったらどうなったか。400+ のてすと、90% 以上のカバレッジ。そしてファジング。コンパイル時にいろいろチェックできるようになったし、ロックフリー。さらにモダンな C++ で書かれている。

パフォーマンスは usrsctp より +20% 速くなった。priority をサポート。コード自体は 85% 少なくなり、バイナリは 42% 小さくなった。Google Meet と Google Duo Group で使われている。Chrome M96 でロールアウトしている。

Unified Plan SDP の話。Plan-B は死んだ。

スクリーンシェアの改善。いろいろ改善されてるのさすが。Google Meet のためなんだろうなと思ったり。

Best practices in Electron-based desktop development for WebRTC

RingCentral による、WebRTCのためのElectronベースのデスクトップ開発におけるベスト・プラクティスの話、ほぼ興味が無くて見ていない。いろいろ大変なんだろうなというお気持ちしかなかった。