🧑‍💻

監視に真面目に向き合う

に公開

サービスを運用していく上で、監視は切っても切れない重要な要素です。
信頼性を担保できなければユーザーの離脱につながるため、監視は機能開発と同じ、もしくはそれ以上に重要だと言えます。

しかし、運用者の感覚によって定義された監視設定のまま運用が行われた結果、
検知漏れや考慮漏れによってサービスの信頼性を毀損してしまうケースは珍しくありません。

本来、監視は極めて複雑な要素です。
システム構成やサービスの特性、さらにはビジネス要件によって、見るべき指標や通知の設計は大きく変わります。

正しい監視には、自身が運用しているサービスやシステムを深く理解した上で、
何を見るべきか、何を通知すべきかを考える必要があります。

本記事では、監視の基本的な考え方を整理しながら、より良い監視を構築するための判断軸を提供します。

優れた監視とは?

サービスをチーム全員が理解する

理解できないものは監視できず、問題を正しく解決することもできません。

サービスを監視するためには、その特性やアーキテクチャに対する一定の理解が不可欠です。
これらを理解していなければ、問題が発生した際にどの範囲へ影響が及んでいるのかを把握できず、
同時に、どのような対応を取るべきかを判断することも困難になります。

重要なのは、この「サービスの理解」がチームの誰か一人に属していないことです。
チーム全員が、少なくとも一定のレベルでサービスを理解している状態を目指す必要があります。

障害対応の属人化は、その人物が不在の場合にサービスを復旧できないことを意味します。
これは、監視が正しく機能していたとしても、運用としては非常に脆い状態です。

組織の専門性を活かす

監視の設計においては、チーム内に存在する多様な専門性を活かすことが重要です。

アプリケーション、ネットワーク、インフラなど、
各レイヤーに精通したエンジニアがそれぞれの視点から発生し得るリスクを洗い出すことで、
監視の網羅性と精度を高めることができます。

もしチーム内のスキルセットが画一的である場合は、
チームの枠を超えて他のチームや組織に協力を求めることも検討しましょう。

また、マネージャーの立場にある場合は、平時から他のチームとのつながりを構築し、
必要なときに助力を得られる関係性を作っておくこともマネジャーの重要な役割の一つです。

チーム全員がサービス運用に責任を持つ

特定の個人だけがオンコール対応を担うような体制は、サービス運用として健全とは言えません。

そのサービスを開発・運用するチーム全員が、サービスの信頼性に対して責任を持つ必要があります。
監視やアラートは、障害を検知する仕組みであると同時に、「誰が対応すべきか」を明確にするための仕組みでもあります。

個人の自主性や善意に任せるのではなく、オンコール体制やローテーション、対応ルールの明文化など、
仕組みによって担保されている状態を作ることが重要です。

この考え方の詳細については、別記事で紹介しているので良ければ参考にしてください。
https://zenn.dev/ohs30359/articles/943f9ddc9202f9

何を監視すべきか

ここからは、実際にどのような項目を取得し、可視化すべきかについて説明します。
本章では「何を見るべきか」「なぜそれを見るのか」という監視設計の考え方に焦点を当てます。

なお、各メトリクスの具体的な取得方法や実装手法については、ここでは扱いません。

アプリケーション(共通指標)

本章では「アプリケーション」を、Web、フロントエンド、バッチといった実装形態に依らず、
処理を受けて結果を返す論理的なレイヤーとして扱います。

どのアプリケーションにも基本的に導入すべき監視指標は以下になります。

監視項目 監視理由 具体的な値・例
リクエスト数 / 処理数 トラフィック変化の検知 RPS、処理件数
成功率 信頼性低下の検知 成功率、4xx/5xx
レイテンシ / 処理時間 性能劣化の検知 P95 / P99
外部依存の成功率 原因切り分け API エラー率
外部依存のレイテンシ 性能劣化の検知 P95 / P99

これらの項目は、サービスの信頼性を評価・測定するための
5つの主要指標である VALET を主軸としています。

そこに、実際にサービスの劣化や毀損が発生した際、原因を迅速に特定するための外部依存の監視を追加しています。

サービス障害が発生した場合、まず必要になるのは 原因が自分たちのシステムにあるのか、
それとも外部要因なのかを即座に切り分けることです。

この初動判断の速さは、MTTR(平均復旧時間)に直結します。

外部依存は多くの場合、自分たちのコントロール外のため直接修正できないケースがほとんどです。
そのため、外部依存の状態をあらかじめ可視化しておくことで、エスカレーションを素早く行えるようになり、
結果として MTTR の短縮につながります。

なお、ここで挙げた項目はあくまで基本項目であり、必要最低限のものです。
実際のサービス運用では、ステータスコードだけでは表現しきれない以下のような異常も存在します。

  • HTTP 200 を返しているが、レスポンス内容が業務的に不正
    • 例:注文作成 API が成功レスポンスを返すが、実際には注文が作成されていない
  • 技術的には成功しているが、期待される業務結果が満たされていない
    • 例:検索 API が 200 を返すが、結果が常に空になる
  • 内部処理の一部が失敗しているが、API としては正常終了している
    • 例:通知送信・ログ出力・後続イベント発行などの失敗

固有の監視項目を洗い出す際には、サービスの「成功」を定義することが重要です。
ここで言う「成功」とは、単純なステータスコードではなく、業務的に正しく処理が完了している状態を指します。

ここについては長くなるため後続の ビジネスの章にて説明します。

フロントエンド(追加指標)

フロントエンドでは、共通指標に加えて UX を直接表す指標が必要です。

フロントエンドアプリケーションでは、前述した基本的なメトリクスに加えて、
UX(ユーザー体験)を直接表す指標を監視する必要があります。

監視項目 監視理由(用途)
Largest Contentful Paint(LCP) 主要コンテンツの表示速度を把握する
Interaction to Next Paint(INP) ユーザー操作に対する応答性の評価
Cumulative Layout Shift(CLS) レイアウトの安定性を評価
First Contentful Paint(FCP) 初期表示の体感速度を把握
Speed Index(SI) ページ描画の進行速度を評価
Time to Interactive(TTI) 操作可能になるまでの時間を把握
Total Blocking Time(TBT) メインスレッドのブロッキング状況を評価
JavaScript エラー クライアント側で発生する不具合の検知

このうち LCP / INP / CLS は、Google が提唱する Core Web Vitalsと呼ばれる指標であり、
検索順位だけでなく UX の品質を評価する上でも重要な指標です。

⚠️ SEOを強く意識しない BtoB サービスであっても、UX の劣化はユーザー体験や業務効率に直結するため、基本的に取得しておくことを推奨します。

Javascriptのエラーについては悩ましい問題です。
基本的にはJavaScriptのエラーはユーザーのブラウザ上で発生するため、サーバー側で直接収集することはできません。

エラーをハンドリングして収集用の API に送信する仕組みを実装すれば取得は可能ですが、
これは実質的に Real User Monitoring(RUM)を自前で実装するのと同じであり、
スタックトレースの解釈、データ蓄積用ストレージ、分析・可視化のためのビューア実装など、継続的に高い運用コストが発生します。

そのため、JavaScript エラーやフロントエンドの挙動を監視する場合は、Datadog RUMのような SaaSを利用するのが現実的な選択です。
(Datadog を例に挙げていますが、他にも複数の選択肢があるため、要件に応じて比較・検討するとよいでしょう)

バッチ処理 (追加指標)

バッチ処理はアプリケーションの中でも特殊な分類に入り、基本的なWEBアプリケーションのような考え方から離れる必要があります。  
バッチにおいて監視すべき基本項目は、以下のとおりです。

監視項目 監視理由(用途) 具体的な値・例
ジョブ起動成否 バッチがそもそも起動しているかを確認するため 起動有無(true/false)、最終起動時刻
ジョブ終了ステータス 正常終了か異常終了かを判別するため SUCCESS / FAILED / ABORTED
処理対象件数 入力データ量の異常検知(0件・急増など) 処理件数、入力レコード数
処理成功率 部分的な失敗を検知するため 成功件数 / 全件数(%)
処理実行時間 処理遅延や性能劣化の検知 実行時間(秒)、想定時間との差分
外部依存リクエスト数 外部サービス利用量の変化を検知 API / DB へのリクエスト回数
外部依存成功率 外部サービス障害の影響検知 成功率(%)、エラー率
外部依存レイテンシ 外部サービスの性能劣化検知 平均 / P95 / P99 レイテンシ

バッチ処理の監視では、処理が正常に起動したかどうかを確実に把握する必要があります。
これは、常時稼働しているアプリケーションやサーバーの監視と比較すると、やや厄介な点です。

処理開始時に Slack やメールで通知を送る、という方法も考えられます。
しかし、(実行頻度にもよりますが)定期的に送られてくる通知を常に意識し続けることは現実的ではありません。
結果として、「通知は来ているが誰も見ていない」状態になりがちです。

この問題を回避する方法として、実行結果を記録するためのストレージや データベースを用意し、
書き込まれたタイムスタンプ等をベースに監視する運用が考えられます。

例えば、以下のような方法です。

  • ファイルサーバーに実行ログファイルを出力し、その存在有無や更新時刻を定期的にチェックする
  • データベースに実行ログ用のテーブルを用意し、実行結果を定期的にチェックする

これらは、ファイルや データベースへの書き込み処理、通知を行うための cron など、
一定の実装コストを伴いますが、問題が発生したときだけ通知することは可能となります。

サーバー

サーバーにおいて監視すべき基本項目は、以下のとおりです。

監視項目 監視理由(用途) 具体的な値・例
CPU 使用量 / 使用率 処理能力の逼迫やスロットリングの兆候を検知するため 使用率(%)、Load Average
メモリ使用量 / 使用率 メモリ不足による性能劣化や OOM の兆候検知 使用率(%)、空きメモリ量
ディスク使用量 / 使用率 ディスク枯渇による障害を防止するため 使用率(%)、残容量
ネットワーク 異常なトラフィック増減や通信不全の検知 送受信量、エラー数、ドロップ数

これらはいずれも、サーバーが安定して稼働し続けるための最低限の指標です。
ただし、これらの指標が そのままサービスの信頼性を担保するわけではない ことには留意が必要です。

CPU 使用率が高くても、必ずしもサービスに影響が出ているとは限りませんし、
その逆に、サーバーリソースに余裕があってもサービス障害が発生することもあります。

そのため、サーバー監視はサービス信頼性の観点では、あくまで補完的な位置づけとして捉えるのが適切です。

一方で、サーバーリソースの指標は、パフォーマンスチューニングにおいては非常に重要な情報となります。
CPU・メモリ・ディスク・ネットワークの使用状況を把握することで、処理のボトルネックがどこにあるのかを判断する手がかりになります。

ビジネス

これまで、アプリケーションやインフラといった技術的な観点で監視すべき指標について説明してきました。
しかし、監視において最も重要なのは、サービスがビジネスとして正しく機能しているかを把握することです。

前述したとおり、固有の監視項目を洗い出す際には、サービスの「成功」を定義することが重要です。
ここで言う成功とは、単純なステータスコード上の成功ではなく、
業務的に正しく処理が完了し、ユーザーに価値が提供されている状態を指します。

そのためには、まず自分たちが運用しているサービスが持つ特性を理解する必要があります。
例えば、以下のような指標が考えられます。

  • ログイン率
  • 購入完了率
  • 登録後の継続利用率
  • 業務フローの完了率

このようなビジネス上重要な指標は、必ずどこかに存在しているはずです。
それらを取得し、継続的に可視化できる状態を作ることが、ビジネスを監視するということです。

また、これらの指標はエンジニアだけでなく、プロダクトオーナーやビジネスサイドなど、ステークホルダーにとっても重要な情報です。
指標の定義や計算方法については、エンジニアだけで判断せず、ステークホルダーを巻き込んだ上で設計・実装することが重要です。

可能であれば、ステークホルダーが必要とする情報だけを
ダッシュボードや定期レポートとして提供するなど、情報の届け方についても検討しましょう。

CPU 使用率やリクエスト数といった指標は、サービス運用においては重要ですが、
多くの場合、ステークホルダーにとって直接的な価値を持つ指標ではありません。

監視は、すべてのメトリクスをすべての人に見せることではなく、
必要な人に、必要な情報を、必要な形で届けることが理想です。

監視を保守する

ここまでどのような指標を監視すべきかについて説明してきましたが、これらの指標は一度実装・設定して終わりではありません。

時間の経過に伴い新規機能の追加、トラフィックの増大等によって当初最適化されていた監視設定はシステムと乖離していきます。
この乖離は、障害の検知漏れや初動対応の遅れにつながります。

そのため、システムの成長に合わせて監視も最適化し続ける必要があります。
こうした事象に対応するためには、監視自体を定期的にレビューし、品質を維持・向上させていくことが重要です。

アラートをレビューする

日常的に繰り返し送信されるアラートは、サービス品質を下げる要因になり得ます。

アラートが頻繁に流れる状態が常態化すると、次第にアラートに慣れてしまい、確認されなくなっていきます。
その結果、本来見るべき重要なアラートを見落とすリスクが高まります。

定期的に(1ヶ月程度)で今発生しているアラートを集計・分析してください。
注意点として、アラートは障害が発生した際に連続してなる傾向があるため単純に発火数だけ見るとノイズになります。
そのため日常的にに発生しているアラートに着目するために 発生した日数 / 月の日数 で発生率を見るとよいでしょう。

また、可能であれば発生時間帯の分布を取るのも有効です。
特定の時間帯にのみ発火する、あるいは発火しやすいアラートといったパターンを把握することで、新たな改善ポイントに気づけることがあります。

メトリクスを定期的に眺める

アラートは問題が発生したことを気づかせてくれますが、緩やかな劣化については無力です。

緩やかな劣化は多くの場合コードの変更や機能追加によって引き起こされます。
この問題の厄介なところはそれが即時に影響として現れず、継続的な変更の積み重ねによって徐々に表面化する点です。

この問題は特にレイテンシやリソース(CPU, メモリ)の使用量で顕著に現れます。
アラートが発火したタイミングでは、すでに変更点が多く入ってしまい、原因の特定が困難になっていることも少なくありません。

こうなる前に、定期的にメトリクスをチームで眺める時間を設け、メトリクスの変化に気づける体制を構築しておきましょう。

具体的には、一週間前・一ヶ月前のグラフと現在のメトリクスを横に並べ、傾向の違いを比較してみてください。
もし明らかな変化が見られる場合は、直近のコード変更や設定変更を起点に調査を進めるとよいでしょう。

ログをレビューする

前章で説明したようにログは詳細分析に非常に有用ですが、反面コストがかかります。
特に SaaSのような従量課金制の仕組みを利用している場合、この傾向は顕著です。

運用上必要なログは出すべきですが、そうではないログはコスト最適化の観点から削減を検討する必要があります。
とはいえ、膨大なログを一つひとつ目視で確認し、取捨選択するのは現実的ではありません。

統計分析用ライブラリなどを用いてログの出現頻度やパターンを分析することで、
一定の俯瞰した視点からログ削減を進めることができます。

また、ログの最適化と併せて、セキュリティ的に許容できない情報が出力されていないかも必ず確認してください。
特に SaaS を利用している場合、個人情報や機密情報が外部サービスに送信されることで、意図せず情報漏洩につながるリスクがあります。

監視ツールの選定

ここまで、監視の考え方や設計の前提、各レイヤーで監視すべき項目について説明してきました。
監視ツールの選定は、それらを実現するための手段であり、最初に決めるものではなく、最後に検討すべき要素です。

何を使うのかより先に、何を監視してどのように運用したいのかが整理されていなければ、適切なツール選定はできません。

この前提を踏まえた上で、監視ツールを選定する際の考え方について整理します。

ツールは一つであるべきか?

まず前提として全ての課題を解決してくれる銀の弾丸のような監視システムは存在しません。

サービスが正常に稼働していることを確認するためには以下のように複数のレイヤーを監視対象として考える必要があります。

  • アプリケーション
  • サーバー
  • ネットワーク
  • データベース

これらすべてを単一のツールで完全にカバーできるケースは稀であり、
多くの場合、複数の監視ツールを組み合わせて運用することになります。
そのため、監視ツールが複数存在すること自体は、特別な問題ではありません。

重要なのは、ツールの数ではなく使い方です。
監視ツールを選定・運用する際には、以下の点に注意する必要があります。

  • 同じ対象を同じ粒度で監視するツールが複数存在する場合は、役割を整理し、可能であれば統一すること
  • レイテンシの悪化など、何らかの障害が発生した場合に その原因を各レイヤーを俯瞰して関連付けることができる状態になっていること

買うか作るか?

ランニングコスト削減を理由に、独自の監視システムを構築するという選択が取られることがあります。
しかし、この判断は極めてリスクの高い発想です。

初期の開発コストについては、短期間の投資として許容できるケースもあるでしょう。
しかし「システム」である以上、保守・運用に関わる人件費やサーバーリソース費用といったランニングコストは継続的に発生します。
さらに運用を続ける中で、機能追加や改善要望が必ず発生し、それに対応するための追加開発コストも避けられません。

そして重要なのは、投資規模が大きくても良い監視システムが作れるとは限らないという点です。

そもそも SaaS は「プロダクト」であり、監視・可観測性を専門とするエンジニアによって継続的に開発・改善されています。
一方、自作の監視システムは、あくまで数ある社内システムの一つに過ぎません。
投資できるリソース(ヒト・モノ・カネ)には決定的な差があり、その差は品質の差として直結します。

つまり、相当なコストを継続的に支払わない限り、出来上がるのは SaaSの劣化版 である可能性が高いということです。
この点は OSS も同様で、OSS の監視ツールは長年の知見の集合体であり、それをゼロから超えることは容易ではありません。

監視は、サービス運用における最重要要素の一つです。
機能の制約は監視の品質を下げ、品質の低い監視は運用品質の低下を招きます。
その結果、障害検知の遅延や原因特定の遅れが発生し、最終的には機会損失や顧客からの信頼低下につながります。

こうした観点から、監視は自作するものではなく、OSS や SaaS を適切に選定・運用することを基本とすべきです。

例外的に以下のようなケースの場合は独自に監視システムを構築することを検討する必要があります。

  • セキュリティ要件上、外部サービスを利用できない場合
  • 既存の OSSや SaaSでは、業務要件を満たせない場合

ただし、この場合もゼロベースでの開発は避け、OSSをベースに拡張するか、
OSSと 独自のシステムを組み合わせる形で運用するのが現実的な選択と言えるでしょう。

まとめ

監視は、CPU 使用率やエラー率を眺めること自体が目的ではありません。
本当に重要なのは、サービスが正しく動いているか、価値を提供し続けられているかを継続的に判断できる状態を作ることです。

そのためには、以下の前提が欠かせません。

  • サービスをチーム全員が理解していること
  • 組織の専門性を活かし、属人化を避けていること
  • 技術的な指標だけでなく、ビジネス上の成功を監視できていること
  • 監視を一度作って終わりにせず、継続的に見直していること

また、監視ツールは重要な要素ではありますが、それ自体が答えになることはありません。
ツールはあくまで手段であり、何を監視し、どのように運用するかという設計と判断が先にあるべきものです。

Discussion