Happy Elements Advent Calendar 2020 24日目の記事です。
概要
あんさんぶるスターズ！！Musicのエンジニアリーダーをしています。
複数人で音楽ゲームを行う「みんなでライブ」で使われたリアルタイム通信基盤について書きたいと思います。
今回は技術選定の段階で検討した内容について紹介し、Redis Streamsを用いたスケーラブルな基盤を提案します。
みんなでライブについて
みんなでライブは、あんスタ！！Musicにおいて複数人で音楽ゲームを行うシステムです。
画面遷移の同期やスタンプ送信、コンボ数の共有などがリアルタイム通信を用いて行われています。
リアルタイム通信の技術選定について
弊社ではポーリングを用いた複数人参加のバトルや、Photonを用いた協力プレイなど実績があります。
あんスタ！！Musicのみんなでライブでは同時接続1万人以上を想定しており、それをさばけるリアルタイム通信基盤が必要でした。
インフラグループの発足により、新たにインフラ基盤を整えられる状況でもあったので、改めてリアルタイム通信技術について検討しました。
Unity公式が勧めているリアルタイム通信技術選定
自分のゲームに適したネットコードを選ぼうを見ていくと、音楽ゲームの参加者は5人であり複雑な処理を行う必要はないため、Photon PUNが最適なソリューションだと考えられます。
ただ、同時接続1万以上を想定しており、スケーラビリティも考える必要がありました。
リアルタイム通信が必要な処理に複雑なものを想定していなかったので、Photonでスケーラビリティを実現するための努力をするよりは単純な構成のWebSocketサーバーを使った方が良いと判断しました。
(もし2021年ならDOTS-Netcodeを使っていたと思います。)
スケーラブルなWebSocketサーバー
初期の段階では、AWSのAPI GatewayでWebSocketを使おうと考えていました。
みんなでライブリリースまで3ヶ月程度しかなかったので、より簡単な方法で実現したいと考えたからです。
これについてインフラグループに相談に乗ってもらったのですが、Lambdaの管理を考えなければならず逆に手間がかかってしまうということで断念しました。
その後、より鉄板のよくある構成でいけたらということで下記のような構成を考えました。
ALBでWebSocketサーバーのロードバランスができるので、適当に繋いだらリアルタイム通信ができて、WebSocketサーバーもRedisクラスタもスケーラブルという完璧な構成です(この時はそう思っていました)！
Redis Pub/Subはスケーラブルではない
再度、インフラグループに相談したところ、Redis Pub/SubをCluster構成で使うと規模の増大によってネットワーク負荷が上がりスケールしないことがわかりました(Redis Cluster PubSub - Scalability Issues)。
簡単にスケールして、ラフに接続できる完璧なリアルタイム通信基盤の夢はもろくも崩れ去ったのです。
Redisを使わない案や、Redis1台でさばける単位で分ける案などあったのですが、どれも3ヶ月で検証が終わってリリースできるような構成に感じられませんでした。
(検証に使えるのは3ヶ月よりずっと短い期間です)
みんなでライブの実現は崖っぷちに立たされたのでした。
突如現れた救世主 Redis Streams
Redis Pub/SubのCluster構成がなかなか諦めきれず、何か良い方法がないか調べていました。
よくよく読んでいくと、Redis Pub/Subの問題について議論されているissueに下記のようなコメントが見つかりました。
Redis Streamsならスケーラブルで、Pub/Subのように使える！
これが本当なら、先程の構成のRedis Pub/Sub部分をRedis Streamsに変更するだけでうまくいくはずです。
Redis Streamsについて何も知らない状態でしたが、みんなでライブの実現のためこの機能にかけてみることにしました。
Redis Streamsを用いたリアルタイム通信基盤
最初に検証したのは、そもそもNode.jsでRedis Streamsが使えるのかどうかということでした。
試行錯誤はありましたが、ioredisを使うことでRedis Streamsを使えそうということがわかりました。
次に検証したのは、ioredisを使ってどのようにPub/Subを実現するかということでした。
こちらもioredisの作者がissueで実現方法を提案してくれていて、そちらを参考に実装することができました！
ついに「僕の考えた最強のリアルタイム通信基盤」が完成したのです。
まとめ
こうして、みんなでライブで用いるリアルタイム通信基盤の技術選定を行うことができました。
スケーラブルであること、構築が非常に簡単であることが特徴のリアルタイム通信基盤で、個人的には最強の構成だと思っています。
明日はハンズオン形式で、実際にRedis Streamsを用いたリアルタイム通信基盤を作ってみようと思います。
メンバー募集
Happy Elements株式会社 カカリアスタジオでは、
いっしょに【熱狂的に愛されるコンテンツ】をつくっていただけるメンバーを大募集中です！
もし弊社にご興味持っていただけましたら、是非一度
下記採用サイトをご覧ください。
Happy Elements株式会社 採用特設サイト
Discussion