PagerDuty Challenge Cup参戦記:虎ノ門で学んだ“究極のインシデント対応”体験レポート
はじめに
こんにちは。イオンスマートテクノロジー株式会社(AST)でSREチームの林 aka もりはやです。
本記事では、2025/04/10に開催されたPagerDuty on Tour Tokyo 2025内で行われたインシデント対応を行う競技会”PagerDuty Challenge Cup”に参加し、大いに楽しんで学びを持ち帰った旨をレポートします。
なお、以下は競技会への募集要項の締めの文です。読むだけでわくわくしてきますね。(ブログタイトルの”究極”もこちらからいただきました)
PagerDuty Challenge Cupは、単なる技術力の競争ではありません。現実のインシデント対応で求められる総合力を競う、まさに究極のチャレンジです。
TL;DR
- PagerDutyさんの大規模カンファレンス"PagerDuty on Tour Tokyo 2025"が4/10に開催されました
- カンファレンス会場奥の別部屋で、インシデント対応の競技会”PagerDuty Challenge Cup”が行われ、当社からも3名が参加しました
- 競技開始後すぐに障害が発生し、わからない原因・無茶を言う仮想のステークホルダー・飛んでくるアラートなどの困難に耐えながら、役割を意識したインシデントレスポンスを経験できました!
背景
PagerDuty on Tour Tokyo 2025について
はじめにPagerDuty on Tour Tokyo 2025の概要をお伝えします。
PagerDuty on Tour Tokyo 2025はWebページにあるように「システム障害対応の未来を徹底議論する年に1度の祭典」としてPagerDuty株式会社が開催したカンファレンスです。
場所は虎ノ門ヒルズフォーラムの広大な会場が手配され、総集客数は1,000名を超える大盛況なイベントのひとつです。
私は普段からPagerDutyに携わる者として本カンファレンスの募集が始まった直後には申し込みを終えていました。
当日を楽しみにしていたところに競技会へのお誘いをいただく
カンファレンス当日を楽しみに業務でもPagerDutyの展開を行っていたところ、面白そうなお声がけをいただきました。
それが"PagerDuty Challenge Cup"と題したインシデント対応で求められる総合力を競う競技会です。
1社につき3名のチームで編成し、複数の参加企業で得点を競い合うとのことで、私はすぐさま社内に募集をかけました。
わざわざ業務外でもインシデント対応をやりたがる人がいるのか? -> いました
私はSlackで勢いで声かけをしましたが、正直なところメンバーが集まる期待値は高くはありませんでした。
ただでさえ日々の業務の中で大変な思いをしているところに、わざわざ業務外でインシデント対応をする方がいるとは確信できなかったためです。
しかし予想は見事に裏切られ、声掛けからわずか8分後に2人目のメンバーが参加を表明してくれました。
さらに当日中に3人目として私の部門のトップでもある齋藤 光さんがすぐに声を上げてくれたことで、そのままエントリーをする運びとなりました。
カンファレンス当日の流れ
以下のタイムテーブルの通り、PagerDuty on Tour Tokyo 2025は12:30から開始されました。(朝の弱い私に優しいナイスなタイムテーブルです)
PagerDuty Challenge Cupはキーノート終了後の時間からの予定でしたので、私はカンファレンスの開始から参加してキーノートを拝聴することにしました。
どのお話も面白く聞くことができましたが、印象に残ったのは"PagerDuty Operations Cloudの新機能としてAIエージェントを追加"の発表です。
わかりやすいデモ動画で紹介されたそれらのAI Agentの振る舞いに、PagerDutyのユーザーとしては期待が大いに高まりました。
とくに”Agentic Scheduler”は、前日夜間の対応を行ったなどの稼働状況を考慮してオンコールを交代する「優しさのOverride」をAIが行ってくれるとのことで、日々のオンコールの辛さを緩和する素晴らしい機能に見えました。
いよいよPagerDuty Challenge Cupが開始!!
いよいよ競技の開始です。最初に競技会場の風景写真を出したかったのですが、自分たちは準備に余裕がなくて写真がなかったため、 @Typhon666_death さんのナイスPostを引用します。(私たちのチームもバッチリ写っています)
冒頭の10分くらいは説明と準備と役割決め
満足感のあったキーノートの拝聴後、カンファレンスの大部屋から別室に移動して競技の準備を始めました。
競技参加者は私たちイオンスマートテクノロジー株式会社を含む5社の15名で、心なしか皆さん”数々のインシデントを超えてきた面構えが違う”方だとお見受けしました。
紙ベースのセットアップ手順書も用意いただき、慣れ親しんでいる自分のPCで競技可能な環境はありがたかったです。
各種環境への接続のほかに、参加者の3名の間でインシデント対応時の役割を決めます。具体的には以下のとおりです。
- インシデントコマンダー: インシデント対応の指揮を行う。手を動かしてはいけない
- レスポンダー: システムの障害対応を行い、各種操作によって切り分けを行う
- スクライブ: 書記として障害状況、対処したこと、決断などを記録する
この役割決めがしっかりと事前準備に含まれているのが、本競技の素晴らしいポイントのひとつです。
インシデント対応時の役割は、意識しないと”小学生の全員ボールを追いかけるサッカー”のようになるケースがあります。
この明確な役割決めによって、競技参加者である私たちは自分の役割を強く意識することができ、本番へも活かせる手応えを得ました。
競技開始、インシデント発生
説明が終わりいよいよ競技開始です。提供されたアプリが利用できなくなり、各自が役割に沿ってインシデント対応を開始しました。
今後も本競技に参加される方を考慮し、問題の詳細は伏せますが振り返ってみれば適切な規模感でのバランスの取れた(?)インシデントだったなと感じるものでした。
運営側のPagerDuty株式会社のJacopenさんの軽快な実況と解説が場を盛り上げつつ、チーム内で「あーでもないこーでもない」と対応を進める時間は普段とは異なる楽しさのあるプレッシャーがあり時間の流れが大変早く感じました。
愉快なステークホルダーたちに振り回される
競技中は”勘弁してくれ!”と思いつつ、この競技の楽しいところにステークホルダーに扮したPagerDutyのみなさんの横槍があります。
仮装CTOからは「サーバーを1回引っこ抜いて差し直したらいいんじゃない?」(クラウド環境なのだが)や、お約束の「いつまでになおるんだ!」などのお言葉をいただきました。
私としては、隣で報告を行うインシデントコマンダー役のメンバーの流暢な状況説明に舌を巻きました、あれはナイスだった。
ほかに仮装別部門のアプリチームからは「開発したのは皆さんのチームですよね?」といった正論パンチを喰らったりして思わず笑いが出るシーンもありました。
どこかでありそうなこれらのシチュエーションに晒されながらインシデント対応の競技を行えたのはとても良い経験だったと改めて思います。
ほかにもいろいろ楽しい部分がありましたが、ぜひ次の機会に参加して体験してほしいのでこれくらいにします。
競技結果は堂々の2位
私たちイオンスマートテクノロジー株式会社は”Team C”で、競技結果は2位を勝ち取ることができました。
あくまで順位は結果でしかなく、あの空間で競技に参加し、学びを体験した時点で参加者全員が優勝です。
ひとつ嬉しいポイントとして”コミュニケーション点”に絞ればトップの点数を取ることができました。
自分たちの隠れテーマとして挙げていたポイントでもあったので、満足のいく結果になりました。
メンバーコメント
せっかくなので一緒に参加したメンバーのコメントを載せます。
インシデントコマンダー担当コメント
パートナーとして参画しており、どうしても参加したかったMasashi Kanekoです!
このような機会をいただきありがとうございます。エンジニアを大切にしてくださるイオングループの皆様に感謝です。
会場の熱気は最高でした!どの役割も楽しそうで、自分もやってみたくなりました笑
「ポストモーテムを制して”強いやつに会いに行く”」
インシデントを楽しめるのは(もちろん責任は重く受け止めつつ)、常に新たな「最強の難題」に挑戦できるからだと思っています。
同じインシデントを二度と起こさない価値あるポストモーテムの重要性を改めて実感し、そのプロセスをPagerDutyが力強く支えてくれていると感じました。
改めまして、皆様本当にありがとうございました!
スクライブ担当コメント
DecSecOps Div SREチームの齋藤です。
今回は主にScribeを担当しました。個人的にはコマンダーをやりがちなので、ぐっと抑えながらScribeに専念できる良い機会でした。
普段は自分がある程度理解しているサービス・システムに対する障害対応ですが、今回は理解が浅いものに対する障害対応だったので
社歴が浅い方々の気持ちを感じることができた気がします。
シナリオやロールの配置も絶妙で、PagerDutyさんの企画力に脱帽しました。
改めて、PagerDutyさん、参加者の皆様、対戦ありがとうございました!!
おわりに
以上が「PagerDuty Challenge Cup参戦記:虎ノ門で学んだ“究極のインシデント対応”体験レポート」の記事でした。
”PagerDuty Challenge Cup”は楽しく学びを得られる素晴らしい体験でしたが、それを、1,000人を超える大規模なカンファレンス開催の準備だけでも想像が難しい大変さの中で併催してしまうPagerDuty株式会社のみなさんに、改めて感謝と尊敬を贈ります。
それではみなさまEnjoy PagerDuty!
イオングループで、一緒に働きませんか?
イオングループでは、エンジニアを積極採用中です。少しでもご興味をもった方は、キャリア登録やカジュアル面談登録などもしていただけると嬉しいです。
皆さまとお話できるのを楽しみにしています!
Discussion