当たり？外れ？それとも？ 判定システムの精度を知る４つのキーワード！(TP, TN, FP, FN)

はじめに

皆さん、こんにちは！私たちの身の回りには、何かを「検知」したり「判定」したりするシステムがたくさんありますよね。例えば、

• コンピュータウイルスを見つけるウイルス対策ソフト
• 迷惑メールを振り分けるスパムフィルタ
• 空港の手荷物検査のX線スキャナー
• 健康診断で行われる病気の検査

これらのシステムは非常に役に立ちますが、残念ながら100%完璧ではありません。時には間違った判定をしてしまうこともあります。

今日は、これらのシステムが「正しく判定できたか」「間違った判定をしたか」を区別するための、基本的な4つのキーワード（考え方）について学んでいきましょう！ これを知っておくと、セキュリティ製品の性能評価などを理解する上でとても役立ちますよ。

判定結果を４つのパターンに分けてみよう！

何かを検知・判定するシステムを考えるとき、結果は以下の4つのパターンに分けられます。状況をイメージしやすいように、「システムがある特定の状態（例：マルウェア、病気、不正行為）を『陽性（Positive = アリ）』と判定するか、『陰性（Negative = ナシ）』と判定するか」という観点と、「実際にその状態が『本当に存在する（True）』か、『本当は存在しない（False）』か」という観点の組み合わせで考えてみましょう。

よく、下のような表（混同行列 / Confusion Matrix と呼ばれます）で整理されます。

	システムの判定：陽性 (Positive)	システムの判定：陰性 (Negative)
実際：存在する (True)	True Positive (TP)	False Negative (FN)
実際：存在しない (False)	False Positive (FP)	True Negative (TN)

さあ、この4つのマス（TP, FN, FP, TN）がそれぞれ何を意味するのか、詳しく見ていきましょう！

① True Positive (TP / 真陽性) - 「当たり！」ちゃんと見つけた！🎯👍

• どんな状況？: 検出すべき対象が 【実際に存在していて】、システムがそれを 【正しく「陽性（存在する）」と判定した】 場合です。
• 意味: システムが正しく検知に成功したケース！ まさに「当たり！」ですね。
• 例え:
  • 警察官が、本物の泥棒をちゃんと捕まえた！
• 具体例:
  • 本物のマルウェアが添付されたメールを、ウイルス対策ソフトが正しく「マルウェア」と検知した。
  • 本当に病気にかかっている人を、医学検査で正しく「陽性」と判定した。
  • 不正なアクセス試行を、侵入検知システム(IDS)が正しく「不正アクセス」として検知した。
• これがたくさんあるほど、システムの「見つける能力（検出力）」が高いと言えますね！

② True Negative (TN / 真陰性) - 「これも当たり！」正しくスルー！👍😌

• どんな状況？: 検出すべき対象が 【実際には存在せず】、システムもそれを 【正しく「陰性（存在しない）」と判定した】 場合です。
• 意味: システムが正しく「問題なし」と判断できたケース！ これも「当たり！」です。
• 例え:
  • 警察官が、善良な市民を疑わずに見送った！
• 具体例:
  • 安全な普通のファイルを、ウイルス対策ソフトが正しく「問題なし」と判断した。
  • 健康な人を、医学検査で正しく「陰性」と判定した。
  • 通常の正当なアクセスを、侵入検知システムが無視した（アラートを出さなかった）。
• これがたくさんあるほど、システムが「余計な心配をしない能力」が高いと言えますね！

③ False Positive (FP / 偽陽性) - 「濡れ衣だ！」間違って警告！👎

• どんな状況？: 検出すべき対象が 【実際には存在しないのに】、システムが 【間違って「陽性（存在する）」と判定してしまった】 場合です。「False（間違い）の Positive（陽性判定）」ですね。
• 意味: システムが間違って警報を鳴らしてしまったケース！ 「誤検知」「誤報」「濡れ衣」などと呼ばれます。
• 別名: 統計学では 「タイプIエラー（第一種の過誤）」 とも呼ばれます。
• 例え:
  • 警察官が、無実の人を泥棒と間違えて捕まえてしまった！
• 具体例:
  • 安全なソフトウェア（例えば、自分で作ったプログラムなど）を、ウイルス対策ソフトが間違って「マルウェア」と判定して削除してしまった。
  • 健康な人を、医学検査で間違って「陽性」と判定してしまい、不要な精密検査を受けさせることになった。
  • 普通の業務上のアクセスを、侵入検知システムが間違って「不正アクセス」として大量のアラートを出した。
  • 大事なメールが、スパムフィルタによって間違って「スパム」と判定され、迷惑メールフォルダに入ってしまった。
• 影響:
  • セキュリティ担当者が大量の誤報アラートに追われ、本当に重要な警告を見逃す原因になる（アラート疲れ）。
  • 正常なファイルが削除されたり、正当なアクセスがブロックされたりして、業務が妨げられる。
  • システムに対するユーザーの信頼感が低下する（「どうせまた誤報でしょ？」）。

④ False Negative (FN / 偽陰性) - 「見逃しちゃった！」本当は危険なのに！😱👎

• どんな状況？: 検出すべき対象が 【実際に存在するのに】、システムが 【間違って「陰性（存在しない）」と見逃してしまった】 場合です。「False（間違い）の Negative（陰性判定）」ですね。
• 意味: システムが検出すべきものを見逃してしまったケース！ 「検知漏れ」「見落とし」などと呼ばれます。これが一番怖い間違いかもしれません。
• 別名: 統計学では 「タイプIIエラー（第二種の過誤）」 とも呼ばれます。
• 例え:
  • 警察官が、すぐそばを通り過ぎた本物の泥棒に気づかずに見逃してしまった！
• 具体例:
  • 本物の新型マルウェアを、ウイルス対策ソフトが検知できずに「問題なし」と判断し、コンピュータへの感染を許してしまった。
  • 本当に病気にかかっている人を、医学検査で見逃して「陰性」と判定してしまい、治療が遅れてしまった。
  • 実際の不正アクセスを、侵入検知システムが検知できず、攻撃者が内部に侵入してしまった。
  • 危険なフィッシングメールが、スパムフィルタをすり抜けて受信トレイに届いてしまった。
• 影響:
  • セキュリティ侵害が実際に発生してしまう。
  • マルウェア感染、情報漏洩、システム破壊など、深刻な損害に繋がる。
  • 被害が発見されるまで気づかれず、被害が拡大する恐れがある。

セキュリティにおける重要ポイント：FPとFNのトレードオフ

セキュリティシステムを運用する上で非常に重要なのは、False Positive (FP) と False Negative (FN) の間には、多くの場合、トレードオフの関係があるということです。

• 検知の感度（網）を広げる（少しでも怪しいものは検知しようとする）と…
  • FN（見逃し）は減らせる可能性が高いですが、
  • FP（誤報）が増えてしまう傾向があります。
• 検知の感度（網）を狭める（確実なものだけを検知しようとする）と…
  • FP（誤報）は減らせますが、
  • FN（見逃し）が増えてしまうリスクが高まります。

どちらのエラー（FPとFN）がより深刻な結果をもたらすかは、システムの目的や状況によって異なります。

• 例えば、医療検査では、病気の見逃し（FN）は命に関わる可能性があるため、多少の誤報（FP）が出ても、FNをできるだけ減らすことが重視される傾向があります。
• 一方で、セキュリティアラートシステムでは、あまりに誤報（FP）が多いと、運用が回らなくなってしまうため、ある程度のFP削減も重要になります。しかし、もちろん重大な攻撃の見逃し（FN）は避けなければなりません。

そのため、セキュリティ製品の設定（検知ルールの閾値など）を調整（チューニング）する際には、このFPとFNのバランスを考慮し、自分たちの組織にとって最適なポイントを見つけることが非常に重要になるのです。

（補足）システムの性能評価指標

今回学んだTP, TN, FP, FNの数を使って、検知・判定システムの性能を客観的に評価するための様々な指標（例えば、精度(Accuracy)、再現率(Recall/Sensitivity/真陽性率)、適合率(Precision)、F値(F-measure)、偽陽性率(False Positive Rate) など）が計算されます。これらの指標を理解することで、システムの性能をより深く分析することができますが、まずは基本となる4つの分類（TP, TN, FP, FN）の意味をしっかり押さえておくことが大切です！

まとめ

今回は、検知・判定システムの評価における基本となる4つのキーワードについて学びました。

• True Positive (TP): 正しく検知できた！（当たり）
• True Negative (TN): 正しく問題なしと判断できた！（当たり）
• False Positive (FP): 間違って検知しちゃった！（誤報・濡れ衣）
• False Negative (FN): 検出すべきものを見逃しちゃった！（検知漏れ・見落とし）

特にセキュリティの分野では、FP（誤報）とFN（見逃し） のバランスをどう取るかが常に課題となります。

これらの用語の意味を理解しておくことは、セキュリティ製品のカタログを読んだり、システムの評価レポートを理解したり、あるいは自分たちでシステムのチューニングを行ったりする上で、必ず役立ちます。ぜひ、しっかり覚えておいてくださいね！

それでは、本日はここまでです。また次回の学びでお会いしましょう！👋