📊

Padded cmAP：ビジネス現場で真価を発揮する評価指標の実用的活用法

2025/07/28に公開

 はじめに機械学習プロジェクトにおける評価指標選択は、ビジネス成果に直結する重要な意思決定です。特に多クラス分類やマルチラベル分類において、クラス間の不均衡が激しい場合、従来のmAPやF1スコアでは「希少クラスで真陽性がゼロ」という問題により、評価が不安定になりがちです。
本記事では、この課題を解決する**Padded cmAP（Padded class-wise mean Average Precision）**について、実際のビジネス領域での活用例と具体的な実装方法を詳しく解説します。

 Padded cmAPとはPadded cmAPは、各クラスに対して少数のダミー真陽性（typically p=5）を追加することで、真陽性がゼロのクラスでもAP（Average Precision）が機械的に0にならないよう調整した評価指標です。これにより、希少クラスの存在有無による評価の揺らぎを抑制し、より安定した性能評価が可能になります。

 ビジネス領域での具体的なユースケース
 1. 再生可能エネルギー（風力発電）- 自然環境モニタリングシナリオ： 風車設置前後の野鳥コロニー音響モニタリング
課題：ESG規制により希少種まで公平に検出精度を管理する必要があるが、
　　　希少種はテスト音源中に真陽性がゼロということも珍しくない
効果：BirdCLEF/BirdSetでpadded cmAPを導入し、
　　　「各種ごとの評価が0 or 1で振れ過ぎる問題」を緩和
参考文献：
BirdCLEF 2023 コンペティション公式ページ（メトリクス説明）
BirdSet論文 §2.4「希少クラスの影響を抑えるためpadded cmAPを採用」

 2. 製造業 - 外観検査・ファブリック欠陥検出シナリオ： 繊維製品の多種欠陥自動検出システム
課題：不良タイプが「汚れ・ほつれ・穴・色ムラ」など複数あり、
　　　極端に発生頻度が低い欠陥も存在
効果：真陽性ゼロの欠陥カテゴリでmAPが下振れする問題を解決し、
　　　品質管理KPIとして安定した指標を提供
参考文献：
Electronics 2025 "RT-DETR-FFD" §3.2「mean APはclass-wise APの平均」

 3. 医用画像AI - 多ラベル疾患検出シナリオ： 胸部X線における10+の病変同時検出
課題：まれな疾患のpositive=0が頻繁に発生し、
　　　テストセット分割の偶然に評価が左右される
効果：QA指標として安定性を確保し、
　　　レア疾患の見逃しリスクも適切に評価
参考文献：
ICLR 2024 "Imbalanced Classification via Regrouping" Table 2

 4. ECプラットフォーム - 商品属性ラベリングシナリオ： 600超の属性を自動付与するマルチラベル検索システム
課題：「そもそも画像に写っていない属性」が多数存在し、
　　　部分ラベル環境でmAPが極端に揺れる
効果：属性が欠けること自体をペナルティし過ぎず、
　　　UI改善効果を定量化しやすい指標を提供
参考文献：
"Large-Scale Partial-Label Classification" Open Images (600 label) 分析

 5. コンテンツモデレーション - 有害表現分類シナリオ： SNSにおける多カテゴリ有害コンテンツ検出
課題：法令・ヘイト種別・暴力表現等の細粒度カテゴリで
　　　rare classの0 positivesが多発
効果：カテゴリ横断の品質KPIを1指標に集約し、
　　　しきい値依存のF1/FPRより安定した評価を実現
参考文献：
arXiv 2023 "Investigating Content Moderation with LLMs"

 Padded cmAPが効果的な条件とその理由

典型条件
Padded cmAPが効く理由


クラス数≫サンプル数（ロングテール）
ダミー真陽性Pを入れることで、真陽性が0のクラスでもAPが機械的に0にならず、希少クラスの存在有無による揺らぎを抑制

評価コストが高く再計測困難
再撮・再アノテーションが難しいため、テストセットの偶然要素をメトリクス側で平滑化し、A/Bテストを安定化

ビジネスKPIが"平均リスク"寄り
風力発電での希少種取りこぼし回避、医療でのレア疾患見逃し防止など、「全クラス同等に観測」したい場面で有利


 現場導入時のTips
 1. ダミーポイント数pの選定# 経験則：p = 5 が BirdCLEF 流儀
# 運用指針：テストセット総例数の1%未満に抑制
p = min(5, total_test_samples * 0.01)

 2. しきい値最適化との併用Padded cmAPは「しきい値レス」評価のため、実運用では閾値サーチ用の別指標（macro F1など）を補助的に残すことを推奨します。

 3. レポートの読み替え取締役会など非技術向け資料では：
「全体cmAP = 0.80 → 0.85」のように報告
脚注で「padded版」である旨とpを明記
誤解を防ぐための説明を準備

 実装例以下は、pandas + scikit-learnを使用したPadded cmAPの実装例です：
import numpy as np
import pandas as pd
from sklearn.metrics import average_precision_score

def padded_cmap(df_true_long, df_pred_long, p=5):
    """
    Padded class-wise mean Average Precision を計算
    
    Parameters:
    -----------
    df_true_long : DataFrame
        (id, class, label) の long 形式データフレーム
    df_pred_long : DataFrame  
        (id, class, score) の long 形式データフレーム
    p : int
        各クラスに追加するダミー真陽性の数（デフォルト：5）
    
    Returns:
    --------
    float
        Padded cmAP スコア
    """
    classes = sorted(set(df_true_long["class"]))
    ap_scores = []
    
    for c in classes:
        # クラスcの真の値と予測スコアを取得
        y_true = df_true_long.query("class == @c")["label"].to_numpy()
        y_pred = df_pred_long.query("class == @c")["score"].to_numpy()
        
        # パディング：ダミー真陽性を追加
        y_true_padded = np.concatenate([y_true, np.ones(p)])
        y_pred_padded = np.concatenate([y_pred, np.ones(p)])  # スコア=1で仮想TP
        
        # Average Precision を計算
        ap_scores.append(average_precision_score(y_true_padded, y_pred_padded))
    
    return np.mean(ap_scores)

# 使用例
if __name__ == "__main__":
    # サンプルデータの作成
    df_true = pd.DataFrame({
        'id': [1, 1, 2, 2, 3, 3],
        'class': ['bird_A', 'bird_B', 'bird_A', 'bird_C', 'bird_B', 'bird_C'],
        'label': [1, 0, 0, 1, 1, 0]
    })
    
    df_pred = pd.DataFrame({
        'id': [1, 1, 2, 2, 3, 3],
        'class': ['bird_A', 'bird_B', 'bird_A', 'bird_C', 'bird_B', 'bird_C'],
        'score': [0.9, 0.1, 0.2, 0.8, 0.85, 0.3]
    })
    
    # Padded cmAP を計算
    score = padded_cmap(df_true, df_pred, p=5)
    print(f"Padded cmAP: {score:.4f}")

 パフォーマンス比較例# 従来のmAPとPadded cmAPの比較
def compare_metrics(df_true, df_pred):
    # 通常のclass-wise mAP
    classes = sorted(set(df_true["class"]))
    regular_aps = []
    padded_aps = []
    
    for c in classes:
        y_true = df_true.query("class == @c")["label"].to_numpy()
        y_pred = df_pred.query("class == @c")["score"].to_numpy()
        
        if len(y_true) > 0 and np.sum(y_true) > 0:
            regular_ap = average_precision_score(y_true, y_pred)
        else:
            regular_ap = 0.0  # 真陽性がない場合は0
            
        # Padded版
        y_true_padded = np.concatenate([y_true, np.ones(5)])
        y_pred_padded = np.concatenate([y_pred, np.ones(5)])
        padded_ap = average_precision_score(y_true_padded, y_pred_padded)
        
        regular_aps.append(regular_ap)
        padded_aps.append(padded_ap)
        
        print(f"Class {c}: Regular AP = {regular_ap:.4f}, Padded AP = {padded_ap:.4f}")
    
    print(f"\nRegular mAP: {np.mean(regular_aps):.4f}")
    print(f"Padded cmAP: {np.mean(padded_aps):.4f}")

 まとめPadded cmAPは、以下のようなビジネス領域で特に有効な評価指標です：

野鳥音声認識・製造検査・医療診断・EC属性付与・コンテンツモデレーションなど、「未出現クラスによる評価ゼロ化」が課題になる領域
既存業界ベンチマーク（BirdCLEF/BirdSet）でも採用が進みつつあり、ビジネスKPIとして実装しても説明可能性が高い

公正で安定した1本指標として機能し、ステークホルダーへの報告にも適している
特に、クラス不均衡が激しく、希少クラスの性能も重要なビジネス要件がある場合、Padded cmAPの導入を検討することをお勧めします。導入時は、ダミーポイント数の適切な設定と、既存指標との併用による段階的な移行を心がけることが成功の鍵となります。

典型条件	Padded cmAPが効く理由
クラス数≫サンプル数（ロングテール）	ダミー真陽性Pを入れることで、真陽性が0のクラスでもAPが機械的に0にならず、希少クラスの存在有無による揺らぎを抑制
評価コストが高く再計測困難	再撮・再アノテーションが難しいため、テストセットの偶然要素をメトリクス側で平滑化し、A/Bテストを安定化
ビジネスKPIが"平均リスク"寄り	風力発電での希少種取りこぼし回避、医療でのレア疾患見逃し防止など、「全クラス同等に観測」したい場面で有利

はじめに

Padded cmAPとは

ビジネス領域での具体的なユースケース

1. 再生可能エネルギー（風力発電）- 自然環境モニタリング

2. 製造業 - 外観検査・ファブリック欠陥検出

3. 医用画像AI - 多ラベル疾患検出

4. ECプラットフォーム - 商品属性ラベリング

5. コンテンツモデレーション - 有害表現分類

Padded cmAPが効果的な条件とその理由

現場導入時のTips

1. ダミーポイント数pの選定

2. しきい値最適化との併用

3. レポートの読み替え

実装例

パフォーマンス比較例

まとめ

Discussion