混同行列とは？ 不適合品検知モデル
工場のライン制御において、二値分類モデルを活用し「適合品/不適合品」を「OK/NG」に分類するシステムを構築する際、評価指標の選択は非常に重要です。
本記事では、混同行列を基にした各評価指標の意味と、工場での実運用を考慮した選択基準について解説します。
混同行列と分類結果の定義
まず、分類モデルの評価において重要な「混同行列」の考え方を説明します。
混同行列は、モデルの予測結果と実際のラベルを整理するための表です。
今回のシステムでは、不適合品を積極的に検出したいという方針から、「NG」をPositiveとします。
それぞれの分類結果を以下のように定義します。
True Positive (TP)
不適合品を正しくNGと分類した数
True Negative (TN)
適合品を正しくOKと分類した数
False Positive (FP)
適合品を誤ってNGと分類した数
False Negative (FN)
不適合品を誤ってOKと分類した数
各評価指標の意味と特性
混同行列をもとに導出される主要な評価指標について、それぞれの意味と工場での活用におけるポイントを説明します。
正解率 (Accuracy)
正解率は、全ての分類結果の中で、モデルが正しい判断を下した割合を表します。
メリット
指標として直感的で分かりやすい。
全体の正確さを把握する際に有用。
デメリット
データが不均衡な場合、多数派クラスの影響を受けやすい。
例えば、問答無用で全てを「OK」と判定するモデルでも、適合品が大多数であれば高い正解率を示すことがある。
適合率 (Precision)
適合率は、NGと分類された品物のうち、実際に不適合品である割合を示します。
解釈
適合率が高いほど、適合品を誤ってNGと判定する頻度が低いことを意味します。
工場での影響
適合品をNGと分類すると、手間やコストが発生するため、この値が高いほど効率的です。
再現率 (Recall)
再現率は、不適合品を正しくNGと分類できた割合を示します。
解釈
再現率が高いほど、不適合品を誤ってOKと判定する頻度が低くなります。
工場での影響
不適合品がOKと判定されて出荷されるリスクを抑えることが可能です。
不適合品の検出を最優先する場合、再現率を重視するのが一般的です。
F1スコア
F1スコアは、適合率と再現率のバランスを考慮した指標です。
解釈
適合率と再現率のどちらも重要な場合に用いる指標で、どちらか片方が低いとスコアも低くなります。
工場での影響
ビジネス要件次第で、適合率と再現率をどちらも重視する必要がある場合、F1スコアが役立ちます。
工場での評価指標選択のポイント
工場のライン制御では、品質やコストに関わる優先順位を明確にした上で評価指標を選ぶ必要があります。
不適合品の検出を最優先
再現率を重視。不適合品を出荷するリスクを抑えることが可能です。
適合品の効率的な処理
適合率を重視。誤って適合品をNGと分類し、ラインを止めるリスクを軽減できます。
両者のバランスが必要
適合率と再現率の両方を考慮するF1スコアを採用します。
まとめ
工場のライン制御モデルでは、どの指標を重視するかは、ビジネス上の要件やコスト構造に大きく依存します。
不適合品を出荷してしまうリスクを最小化したい場合は再現率を、適合品の効率的な処理を重視したい場合は適合率を選ぶのが一般的です。
また、双方をバランスよく評価したい場合にはF1スコアを検討するのが良いでしょう。
モデルの運用に際しては、これらの指標を適切に使い分け、継続的な改善を行うことが成功への鍵となります。
Discussion