この記事は本番環境などでやらかしちゃった人 - Qiita Advent Calendar 2025の17日目の記事です。
こんにちは、間瀬bb （@bb_mase） です。
今回は、学園祭の本番1日目である前夜祭の生配信中に自分の足でコアスイッチの電源をぶち抜いてしまい、全配信システムを約10分間止めた話をします。
はじめに
私は筑波大学の学園祭「雙峰祭」の実行委員会で、インフラ担当長を務めていました。3人のチームで、光ファイバーネットワークの構築から生配信システムの運用まで、学園祭全体を支えるネットワークインフラを担当しています。
そんなインフラ担当長という立場ながら、一番ヤバいやらかしを本番中にしてしまいました。
今年度は4拠点からの同時生配信という挑戦的な構成で、40Gbpsの光ファイバーリンクやスイッチを駆使した、なかなかなインフラを組んでいました。
詳細は別記事「詳解 筑波大学学園祭を支えた本番ネットワークインフラ全貌」に書いていますので、ぜひご覧ください。
本番インフラの概要
簡単に構成を説明すると：
- コアスイッチ: Juniper QFX5100
- ディストリビューションスイッチ: Arista DCS-7050TX-64
- 拠点間接続: 最大40Gbps光ファイバーリンク
全ての機器は、情報メディアシステム局の本部となる教室(下記図中「Jsys本部」とある場所。一番色々ある。)に向かうように設計されています。以下の図を少し睨んでいただければ大体わかると思います。
ネットワーク構成図
事件当日の状況
学園祭1日目、生配信最初の企画である前夜祭の生配信真っ最中。本祭時の雙峰祭では最大4映像の配信をしていましたが、前夜祭時はまだ一映像（メインの屋外ステージである「UNITEDステージ」のみ）の生配信しか行われていません。
初日ということもありかなりバタバタ感はありましたが、それらも落ち着き、配信自体は問題なく進行していました。
実際の教室の様子
（そういえば、明日から運用予定のWi-Fi AP、まだやってなかったな）
輝日株式会社様からお借りしているWi-Fi 7対応のAPです。翌日から本格運用する予定だったので、配信を見守りつつ、裏で動作確認しておこうと思ったのです。
電源を求めて
APの試験にはPoEインジェクターが必要です。PoEインジェクターには当然100V電源が必要。
しかし、インフラ部門のデスクの上は機材で埋め尽くされており、電源の空きがありません。そもそもその時は無線で事足りていたのでLANポートも用意していませんでした。
3日目のインフラ部門デスクの様子。3日目でこれなので、1日目はもう......
（スイッチの近くなら電源あるし、LANポートもあるからそこら辺でやるか〜）
そう思って、スイッチやサーバーが稼働している付近をうろうろします。
実際の写真
サーバの電源タップを見ますが、全ポートがスイッチ・サーバー等の電源ケーブルで埋まっています。
（うーん、空いてないな...）
どうにか電源を確保できないかと、さらにうろちょろ。壁際の根本のコンセントを発見。
（ここも全部埋まってるな〜 そりゃそうか埋めたもんなガハハ❗️）
そう思いながら、疲れたため、かがんだ、その瞬間——
やらかし本編
足が何かに引っかかる感触があり、振り返ると電源タップのプラグが半刺しに......
電源タップのケーブルを引っ掛けて抜いてしまったのです。
「あっ」
気づいた時にはもう遅い。慌ててプラグを差し込みますが——
瞬停では済みませんでした。
実際の当該コンセント
再起動
キュイーーーーーーン
エンタープライズ機器特有の、あの起動音が教室に響き渡ります。
スイッチ、サーバー群...本部に設置された全てのインフラ機器が一斉に再起動を始めました。後ろから情報メディアシステム局員の目線を感じます。
映像の伝送はこのコアスイッチを経由してPCに送られているので配信は当然止まっています。そもそもインターネットへの疎通性もなくなるので配信自体ができません。前夜祭、まだやってるのに。
当たり前ですが、光ファイバーレベルで大学のネットワークとは独立しているので、この瞬間にステージ側のスイッチの40Gリンクも下がっています。
Juniperの対向にいるステージ側スイッチ
復旧までの長い10分間
エンタープライズ級のスイッチは、起動に時間がかかります。
JuniperもAristaも、電源を入れてからリンクアップするまで数分かかる。家庭用のスイッチなら数十秒で立ち上がるのに。
この時ほど普通のスイッチにしておけばよかったと思ったことはありません。[1]
あちゃ〜って感じでしたね、かなり落ち込みました。
あとは待つしか無いので、絶望(全て真っ赤)のDeadman[2]の画面も撮ってあります。
一部が生きているように見えるのは、Wi-Fiの無効化を忘れて学生用Wi-Fiに切り替わったため
実際は全部死んでる
現場への連絡を試みる
どうしようもない状況ではありますが、配信が止まっているので、前夜祭が行われているステージ側に一応状況を伝えようかなと思いました。
（そうだ、IP電話！）
受話器を取ろうとして、気づきました。
IP電話のサーバー、ここのサーバーに載ってるんだったわ
当たり前にIP電話網も死んでいます。サーバは健気に再起動中です。仕方なく無線機で連絡を試みますが、本部からステージまでは距離があり、微妙に届かない。
何回か試してみたりして、なんとか現場と連絡はとれました。
オチまで完璧ですね。
結局10分後ぐらいに、ようやくスイッチが復旧。Juniper起動長い。配信も無事再開できました。
前夜祭の配信の裏側にはこんな事もありました、この記事をご覧の中で、もし実際に視聴していた方が居たら本当に申し訳ありませんでした。
なぜ起きたのか
直接原因：物理的に足を引っ掛けた
これはもう、単純に不注意です。疲れていたとはいえ、何をどう考えても本番機器が稼働している場所でうろちょろすべきではありません。
根本原因：電源冗長のサボり
実は、今回落ちた機器たちには冗長電源がありました。
Juniper QFX5100もArista DCS-7050TX-64も、電源ユニットを2つ搭載できるエンタープライズ機器です。サーバーも同様。つまり、2系統の電源を接続しておけば、片方が落ちてももう片方で動き続けられるはずでした。
では、なぜ冗長電源を接続していなかったのか？
「どうせ上流の電源系統は同じだから、落ちるときには全部落ちるっしょ〜」
これが当時の私の考えでした。
実際には、別々のコンセントに接続しているだけでも今回のような事故などは防げたはずです。
3ピンケーブルも余っており、教室内には複数の小ブレーカー系統があるのも把握はしていたので「まあ、刺しておくか〜」とは思っていたのですが、準備期間の忙しさと疲労で後回しにしていました。
教訓
1. 冗長電源は同一系統でも必ず接続する
上流が同じだから意味ないは違います。
今回のように、特にイベントでの仮設の設置では人間が物理的にケーブルを抜いてしまうというリスクが建物の電源系統の設計とは無関係に存在します。今回の場所も決してデータセンターとかではなく、普通の教室のため、もちろん抜け止め等はありません。冗長電源があるなら、とにかく接続しておく。それだけで防げる事故がきっとあります。
2. 本番機器の周りでは慎重に動く
疲れているときほど、動作が雑になります。いや普通に疲れたからって座ろうとするな！バカ！
コンセントが埋まっているのも構築した自分が一番分かっているはずです。無いものを見に行ってもありません。
本番環境では、「ちょっと確認するだけ」のつもりでも、一つ一つの動作をゆっくり行うべきでした。
3. 後でやるはやらないと同じ
冗長電源の接続、やろうと思っていました。でも、やっていませんでした。
本番前の「後でやる」は、結局やらないまま本番を迎えることがほとんどです。気づいた時にはもう遅いのです。
まとめ
この後、急いで教室内の別のコンセントからの系統を引っ張ってきて、全ての機器の冗長側にも100V電源を接続をしました。(先程の機器が載っているデスクの写真も実は冗長側が接続済みのもの)
本当に前夜祭の一映像しか配信していないときで良かったです。まあ、言い換えれば起こるべくして起こったということでもありますが。
エンタープライズ機器の高信頼性も、電源が抜けたら何の意味もありません。そして起動時間が長いぶん、復旧にも時間がかかる。高性能な機器を使うなら、なおさら電源の冗長化は手を抜いてはいけなかったのです。
冗長電源がある機器を運用する際は、どんな系統でも必ず接続することをお勧めします。
このやらかし以降、学祭期間中は本番環境らへんに近づくだけで気をつけてね❗️❗️❗️❗️❗️と言われるようになってしまいました。
詳細記事
先程もリンクを張りましたが、本記事で触れた学園祭インフラの詳細については、以下の記事で解説しています。40Gbps光ファイバーリンクの構築や、4拠点同時配信の仕組みなど、技術的な内容に興味がある方はぜひご覧ください。
雙峰祭ではスポンサーを募集しています
このような活動を来年以降も持続的に行い、高度な人材を育てるために、 資機材等物品のスポンサー等をぜひ、お待ちしています。
後輩と色々話しているのですが、来年はNDIではなく、ST2110などを用いた非圧縮ストリームの実験[3]をして、原状の40Gネットワークをフル活用できるようにしたい、カメラの台数を増やしたい、などなど色々夢があるようです。その時に、最新の機材等が使えればどれだけ嬉しいことかと思います。
もちろん、SOS等のシステムでも認証基盤やメール配信サービス等、様々なクラウドサービスを用いているのでそういったスポンサーでもありがたいです。
もし、こちらについて興味が少しでもある場合は@bb_mase、もしくはjsys@sohosai.comまでご気軽にご連絡いただければと思います。
また、雙峰祭は昨今の物価高騰等で運営に苦しんでおります。通常協賛・その他物品協賛の方もご検討いただければと思います。(Webバナー広告等、様々な協賛形態がございます。)
もし、こちらに興味がある場合はinfo@sohosai.comまでご連絡をください。
よろしくお願いいたします。
(筑波大生の人・なりたい人向け)
また宣伝で申し訳ないです。
情報メディアシステム局では、学園祭の実現に向けて参加企画向けシステムの開発や、独自の生配信プラットフォームを通じた映像配信、そのためのネットワーク構築等をしています。
情報系に限らず様々な学生が1~2年生を中心に活動しています。少しでも面白そうと感じた筑波大生の方は、info@sohosai.comよりお気軽にお問い合わせください。
Discussion