🧐
【論文解説】プロトタイプ学習による解釈可能な画像分類手法

2025/07/13に公開
Title: Interpretable Image Classification via Non-parametric Part Prototype Learning (CVPR 2025)
Link: https://arxiv.org/abs/2503.10247v1
Code: https://github.com/zijizhu/proto-non-param

 概要 (Abstract)本論文では、プロトタイプを用いた部位ベースの説明可能な画像分類手法が提案されています。従来の説明可能モデル（Prototypical Part Network; ProtoPNet）では、学習したプロトタイプが同じような領域に偏ってしまい、説明が冗長かつ網羅的でないという課題がありました。本手法はこの問題を解決するため、非パラメトリックな部位プロトタイプを各クラスに対して学習し、各プロトタイプが意味的に異なるオブジェクト部位を表現するように設計されています。具体的には、大規模事前学習済みViT（Vision Transformer）由来の深層特徴をクラスタリングすることで、各クラス内の代表的な部位プロトタイプを抽出します。こうして得られたプロトタイプを用いれば、入力画像中のどの部位がどのプロトタイプに対応するかを直感的に示すことが可能です。また、説明の質を定量評価するためにDistinctivenessスコア（識別性）とComprehensivenessスコア（網羅性）という2つの指標を新たに導入しました。CUB-200-2011、Stanford Cars、Stanford Dogsといった細分類タスクの実験により、本手法は従来のProtoPNet系モデルと同等以上の分類精度を維持しつつ、より優れた解釈性（多様で包括的な部位の説明）を実現することが示されています。

 序論 (Introduction)ディープラーニングモデルの判断過程を人間に理解可能にすることは、コンピュータビジョン分野で長年の課題です。近年、自己説明型(self-explainable)ネットワークとして、内部に説明性を持つモデルが注目されています。特にプロトタイプ部分ネットワーク (Prototypical Part Network; ProtoPNet)は、各クラスごとにK個のプロトタイプ（そのクラスの代表的な部位パッチを表す特徴ベクトル）を学習し、入力画像の局所領域とこれらプロトタイプとの類似度に基づいて推論を行います。この仕組みにより、「入力画像のこの部分が、過去の学習画像におけるこのプロトタイプ（部位）に似ているから、このクラスと判断した」という形式の視覚的な説明が可能になります。
しかし従来のProtoPNetでは、プロトタイプをネットワークの学習可能パラメータとして持ち, 「各入力画像中の少なくとも一箇所が、その画像のクラスに対応するプロトタイプのいずれかにマッチする」という制約の下で学習を行っていました。その結果、同一クラス内の複数プロトタイプが実質的に同一の部位を捉えてしまうことがしばしば発生し、説明の質を損ねていました。具体的には、鳥の画像を分類する例では、ProtoPNetが持つ4つのプロトタイプのうち3つまでもが鳥の「翼」の領域に重なって発火し、「脚」や「尾」といった他の部分を無視してしまう例が報告されています。このような場合、モデルの説明は非網羅的（対象物の一部の部位しかカバーしない）であり、さらに冗長（似た説明の繰り返し）でもあるため、そのクラスに分類した根拠を十分に示せていません (図1参照)。
本研究ではこの問題に対処するため、プロトタイプ学習の最新手法から着想を得て、非パラメトリックなプロトタイプを用いた部位ベースの説明可能な分類モデルを提案します。非パラメトリックとは、プロトタイプをパラメータとして持たずデータ分布から直接推定する方式を指し、具体的には深層特徴のクラスタリングによってプロトタイプ（クラスタ中心）を得るアプローチです。この手法により、各クラスのプロトタイプごとに異なる意味を持つオブジェクト部位が割り当てられ、重複のない多様な概念が学習されます。結果として、各プロトタイプは他とは異なるユニークなオブジェクトの特徴を捉え、クラス全体として包括的（網羅的）な部位集合を表現できるようになります。このように多様で特徴的なプロトタイプを備えることで、モデルの説明性が大幅に向上します。
さらに、本手法では基盤視覚モデル（Foundation Vision Model）をバックボーンとして活用する点も特徴です。特に、自己教師型のVision Transformer（ViT）であるDINO（self-distillationによる自己教師学習ViT）を用いることで、オブジェクトの部位情報を豊富に含んだ頑健な特徴表現を抽出します。近年の研究から、自己教師学習で訓練されたViTのパッチ特徴やアテンションマップには、物体の部位やレイアウトに関するリッチなセマンティクスが含まれていることが知られています。これを利用することで、プロトタイプ学習の土台となる特徴空間そのものの質を高め、より意味的に整った部位クラスタを得ることが期待できます。
提案するフレームワークの学習は2段階で行われます。第1段階では、バックボーン（ViT）から抽出された特徴を凍結し、各クラス内での特徴クラスタリングによって部位プロトタイプを発見・形成します（プロトタイプディスカバリ）。第2段階では、得られたプロトタイプを固定したまま、バックボーンに微調整(fine-tuning)を行います。微調整では、各パッチ特徴が適切なプロトタイプにより強く対応付けられるよう特徴空間を調整しつつ、クラス分類精度を向上させます。この際も必要な教師信号は画像レベルのクラスラベルのみであり、部位アノテーションなどは不要です。
本手法を、細粒度分類でよく用いられるCUB-200-2011 (鳥類200種)、Stanford Cars (車種196種)、Stanford Dogs (犬種120種)で評価したところ、分類精度は最先端ProtoPNet手法と同等でありながら、説明性（プロトタイプの多様性と網羅性）が大幅に改善されていることが確認されました。特に、説明の質を定量化する新指標として導入した**Distinctiveness（識別性）およびComprehensiveness（網羅性）**のスコアにおいて、既存モデルを大きく上回る値を示しました。このように、本研究の貢献は次の通りまとめられます:

ProtoPNetの課題を特定し、解決策を提示: 従来モデルが冗長で重複した説明を生成しがちであるという課題を指摘し、非パラメトリック・プロトタイプの導入によって各プロトタイプの表す概念を多様化する自己説明型ネットワークを構築しました。

非パラメトリックプロトタイプと高性能バックボーンの活用: 非パラメトリックなプロトタイプ学習手法と大規模事前学習ViTバックボーンの組み合わせにより、多様でセマンティックな特徴的部位を発見し、説明性と識別性能の両立を図りました。

新たな評価指標の提案: 説明の多様性と包括性を定量評価するため、Distinctivenessスコア（プロトタイプ同士の重なりの少なさ）とComprehensivenessスコア（プロトタイプ群が対象物全体を網羅できているか）を提案しました。これらにより、説明可能モデルの評価をより包括的に行えるようにしました。

総合的な実験検証: 上記の手法を3つのベンチマークデータセットで検証し、最先端ProtoPNetモデルに匹敵する精度を達成しつつ、各クラスから全体論的かつ識別的な部位概念を捉えられることを示しました。

 関連研究 (Related Work)
 部位ベースの説明可能な画像分類ProtoPNet (Prototypical Part Network)は、画像部位に基づく説明可能性を導入した先駆的手法です。各クラス固有の複数プロトタイプを用意し、入力画像の各局所領域がどのプロトタイプに類似するかでクラス予測を行うことで、人間が物体を部位で識別するプロセスを模倣しました。ProtoPNet以降、説明性と分類性能の両面を向上させる様々な拡張が提案されています。例えば、TesNetはグラスマン多様体上の埋め込み空間構築という観点でプロトタイプ学習を再定式化し、直交性などの事前条件をプロトタイプに課すことでプロトタイプ間の分散を高めつつ精度も改善しました。またHuangらはTesNetのアーキテクチャ上に、プロトタイプの一貫性や説明安定性を向上させるモジュールを追加し、それらを測る定量指標（Consistency・Stability）も導入しています。これらにより説明の信頼性向上が図られています。
一方で、細粒度カテゴリの物体部位検出に焦点を当てた研究も並行して進展しています。これらは画像中の重要部位を検出・識別する点で類似しますが、多くは全クラス共有の部位セットを検出対象とし、モデルの説明としてそれら部位を利用するというよりは、検出した部位の品質評価に重きを置いています。そのためケースベースの推論（プロトタイプ類似度による判断）には直接結び付かないアプローチとなっています。
本研究の目的は、ProtoPNet系の上述した課題（説明の重複・非網羅）を解消することにあります。そのために、プロトタイプを非パラメトリックに学習する新手法を提案しました。また関連して、HuangらはProtoPNetの推論過程を概念ボトルネックモデル（人間が定義した中間概念を用いる解釈可能モデル）と組み合わせ、説明の信頼性を高める試みも行っています。本研究でも提案手法を概念学習設定に適用し、プロトタイプが人間概念の説明として使えるか検証しています。

 基盤視覚モデル (Foundation Vision Models)画像認識のバックボーンとして、大規模事前学習済みモデル（基盤モデル）が近年多くの下流タスクで成功を収めています。従来の教師あり学習と異なり、これらのバックボーンは自己教師学習や弱教師学習（例：マスク画像モデリング、コントラスト学習、自己蒸留など）によって巨大な未ラベル画像集合から学習されており、ラベルに依存しない汎用的で高品質な特徴表現を獲得しています。興味深いことに、プレトレーニングの手法によって得られる埋め込み空間にはそれぞれ異なる望ましい性質があり、特に自己蒸留で学習されたViTではパッチトークンやアテンションマップにシーンのレイアウトや物体部位といったリッチなセマンティクスが潜在することが示されています。例えば、自己教師ViTの特徴は物体検出、異常検知、画像生成といったタスクで有用であることが報告され、他にも細粒度認識への応用も進んでいます。こうした知見を踏まえ、本手法ではDINO v2などの強力なViTバックボーンが持つオブジェクト部位表現を活用し、プロトタイプの質（多様性・意味の明瞭さ）を向上させています。

 プロトタイプ学習 (Prototype Learning)プロトタイプに基づく分類とは、人間が過去の事例に基づいて新たな対象をカテゴリー化するのに類似した発想で、過去データの代表的な例との類似度で予測を行う枠組みです。ディープラーニングでは近年、従来の全結合分類器（ソフトマックス分類層）の代替として注目されています。例えばメモリバンク手法では、大量の過去サンプルを保存しておき高品質な特徴表現を学習することに利用します。またセグメンテーションの文脈では、ProtoSegやdeep nearest centroids、各種セグメンテーションモデルなどで、出力クラスごとに複数の非パラメトリックプロトタイプ（クラスタ中心）を用意し、従来のソフトマックス層を置き換える試みがなされています。これらはクラス内の多様な分布をプロトタイプで捉えることで、モデルの表現力や汎化性能の向上に寄与しています。本研究で提案する非パラメトリック部位プロトタイプは、まさにこれらのアイデアに触発されたものであり、各クラス内部の変動（部位ごとの特徴の差異）を複数プロトタイプで捉えることで、解釈可能性の高い識別を実現しようとするものです。

 手法 (Method)ProtoPNet系の部位ベース解釈可能モデルでは、「入力画像の領域」と「各クラスのプロトタイプ」の類似度に基づいて最終的なクラススコア（ロジット）を計算します。本手法も同様の枠組みですが、プロトタイプの学習過程を分類タスクから切り離して非パラメトリックに行う点に特徴があります。これにより、プロトタイプ学習用のステージと特徴空間微調整（分類器学習）用のステージ**という二段階の学習プロセスが実現されています。以下では、モデル全体の流れを概観した後、各ステージの詳細（非パラメトリックなプロトタイプ学習、分類への適用と微調整）、そして新規指標であるDistinctiveness・Comprehensivenessスコアについて説明します。

 概観 (Overview)
本モデルの目的は、画像分類を解釈可能に行うことです。そのために各クラスcについてK個の部位プロトタイプP^{(c)}_{1}, P^{(c)}_{2}, ..., P^{(c)}_{K}（次元Dのベクトル）を学習します。全クラスのプロトタイプ集合をP\in \mathbb{R}^{C\times K\times D}と表すことにします。モデルの推論（テスト時）は以下のように行われます。
特徴抽出: バックボーンとして用いるViTをFとすると、入力画像X（高さH, 幅W）はまずViTによってパッチ特徴の列に変換されます。具体的には、Xはh\times w個のパッチ（トークン）に分割され、各パッチがD次元の埋め込みに写像されます。これにより、画像Xは特徴マップf = F(X)\in \mathbb{R}^{h\times w \times D}として表現されます。
類似度マップ: 得られたパッチ特徴fと各クラスのプロトタイプPとの類似度を計算し、類似度マップを生成します。類似度尺度にはコサイン類似度などを用い、i番目のプロトタイプに対する類似度マップをS_i\in \mathbb{R}^{h\times w}で表します。このS_iの各要素は、対応する位置のパッチがプロトタイプP_iとどれだけ似ているかを示すスコアです。したがって、類似度マップS_iを画像空間に再配置すると、どの領域がそのプロトタイプに類似しているかがハイライトされることになります。
プロトタイプの活性値: 各プロトタイプP_iが入力画像内でどれだけ顕著に現れているかを定量化するため、対応する類似度マップS_iの最大値を取ります。すなわち、

    g^{(c)}_{i} = \max_{h,w}\;\text{Sim}(f_{h,w},\,P^{(c)}_{i}) 
  と定義します (\text{Sim(-,-)}はコサイン類似度などの類似度を示す)。g^{(c)}_{i}は「入力画像におけるプロトタイプi（クラスc所属）の存在スコア」と解釈できます。例えばプロトタイプP^{(c)}_{i}が「鳥の翼」を表す場合、g^{(c)}_{i}は入力画像で翼にあたる部分がどの程度その典型例に近いか（翼がはっきり写っているか）を表します。
クラススコアの計算: 上記で得られた各プロトタイプの存在スコアを用いて、クラスcのロジット（スコア）を計算します。具体的には、各プロトタイプの重要度を表す重みw^{(c)}_{i}を学習し、

    \text{logit}_{c} \;=\; \sum_{i=1}^{K} w^{(c)}_{i}\, g^{(c)}_{i} 
  として算出します。ここで重みベクトルw^{(c)} = (w^{(c)}_{1},...,w^{(c)}_{K})は学習により得られるモジュレーション係数であり、各プロトタイプの最終スコアへの寄与度を調整します。重要なのは、この重み付け和によるロジット計算はクラスcに属するプロトタイプのみを合算する点です。従来の全結合層によるスコア計算と異なり、プロトタイプが他クラスの決定に影響しないため、各プロトタイプは自クラスの判断理由としてのみ機能し、説明の明確さが保たれます。(図2a参照)
以上が推論時の流れです。この段階で、各入力画像について「どのプロトタイプがどの程度反応したか」という情報（g^{(c)}_{i}の集合）を得ることで、モデルの判断を「○○というプロトタイプ（概念）が画像中で強く認められたのでクラスcと判定した」という形で説明できます。
学習時は二段階からなります。第1段階ではプロトタイプの学習、第2段階では特徴空間の微調整:分類器の学習を行います。第1段階で得られたプロトタイプは第2段階で固定（凍結）され、アンカー（基準点）として使用されます。それぞれの内容を以下に説明します。

 非パラメトリックな部分プロトタイプ学習 (Non-parametric Prototype Learning)第1段階では、各クラス内のパッチ特徴をクラスタリングすることで、そのクラスの代表的な部位を表すプロトタイプを非パラメトリックに獲得します。図2.bに模式図がありますが、要するに同じクラスの画像から抽出された多数のパッチ特徴をまとめ、それらをK個のクラスタに分割します。各クラスタの経験的平均（重心）こそが求める部位プロトタイプとなります。このクラスタリングによって、クラスcのあらゆる画像中の多様な部位がK個のクラスタに振り分けられ、各プロトタイプが互いに異なる概念（部位）を担うようになります。学習における教師情報は各パッチがどのクラス由来かというラベルのみであり（画像全体のラベルから誘導される）、クラスタへの割り当て自体は非教師ありで行われます。
クラスタリングを数式で定義すると次のようになります。まず、あるクラスcについて、そのクラスの画像から抽出された前景パッチ特徴の集合を考えます（前景抽出については後述）。その数をNとし、パッチ特徴群を行列f^c \in \mathbb{R}^{N\times D}で表します。また、現在のクラスcのプロトタイプ集合をP^c = {P^{(c)}_{1},...,P^{(c)}_{K}}とし、これらとパッチ特徴との類似度行列をS^c \in \mathbb{R}^{N\times K}とします。ここで、パッチiがプロトタイプjに属するかを表す割当行列A^c \in {0,1}^{N\times K}を導入します（A^c_{ij}=1ならパッチiはプロトタイプjに割り当てられる）。理想的には、各パッチが自身に最も似ているプロトタイプに割り当てられるようにA^cを決定したいので、以下の目的関数を最大化します:

    \max_{A^c}\; \mathrm{Tr}\!\Big((A^c)^T S^c\Big),
    \tag{1}
ただし\mathrm{Tr}は行列のトレースです。この式は、全パッチとそれが割り当てられたプロトタイプとの類似度の総和を最大化することに相当します。言い換えれば、できるだけ各パッチを類似度の高いプロトタイプに振り分けるということです。
しかし(1)式だけでは、全てのパッチが単一のプロトタイプに集中してしまうなどの自明解(trivial solution)が発生し得ます。そこで、一意割当制約と等分割制約という2つの制約を課します:

    (A^c)^T \mathbf{1}_N \;=\; \frac{N}{K}\mathbf{1}_K, 
    \qquad 
    A^c\,\mathbf{1}_K \;=\; \mathbf{1}_N,
    \tag{2}
ここで\mathbf{1}_NはN次元全て1のベクトル（\mathbf{1}_KはK次元全1ベクトル）です。(2)式の左は各プロトタイプに割り当てられたパッチ数を表し、右は\frac{N}{K}（全パッチをKクラスタに均等割りした数）で揃えています。一方、右側の式A^c \mathbf{1}_K = \mathbf{1}_Nは各パッチが必ず1つのクラスタに割り当てられることを意味します。要するに、(2)式によって「各パッチはどれか1つのプロトタイプに対応し、各プロトタイプにはほぼ均等な数のパッチが割り当てられる」ことが保証されます。この等分割の緩やかな強制により、全プロトタイプが異なるクラス内概念をそれぞれ担うようになります（1つのプロトタイプにデータが集中せず全体をカバーする）。
(1)式＋(2)式の組み合わせは、最適輸送 (Optimal Transport) 問題として解釈できます。これを解くために、本研究ではエントロピー正則化項を付加した凸問題に緩和し、Sinkhorn-Knoppアルゴリズムによる反復計算でA^cを近似解しています（詳細は割愛）。このようにして各バッチ毎にA^c（パッチ→プロトタイプの一括割当）が求まります。
プロトタイプの更新: 割当が決まれば、各プロトタイプはそのクラスタに属するパッチ特徴の平均で更新します。具体的にはプロトタイプP^{(c)}_{k}について、

    P^{(c)}_{k} \leftarrow P^{(c)}_{k} + (1-\varepsilon)\,\bar{f}_{c,k}
    \tag{5}
というモーメントアップデートを行います。ここで\bar{f}_{c,k}はプロトタイプkに割り当てられた全パッチ特徴の平均で、\varepsilon \in [0,1]は更新速度を制御する係数です（\varepsilonはモーメンタムに相当し、小さいほど新しい平均\bar{f}の寄与(1-\varepsilon)が大きい）。この更新式により、各プロトタイプはクラスタ重心に向かって移動し、徐々に安定していきます。最終的に、各プロトタイプは訓練集合全体における対象部位の平均的特徴を表すようになります。このプロトタイプは、学習後にそのプロトタイプに最も近い訓練画像パッチを表示することで直感的に理解することもできます（例：あるプロトタイプに最も近い複数画像のパッチを見れば「鳥の頭部」の平均的特徴だ、と解釈できる）。
前景パッチの抽出: なお、クラスタリングの際には背景に属するパッチが混ざるとプロトタイプの質が低下するため、前景抽出モジュールによって背景パッチを除外しています。具体的な方法は論文中に詳細がありますが、ViTの注意マップ等を利用して物体領域に属さないパッチを予め取り除く処理を行っています。その結果、クラスタリングは各画像内の物体部分のパッチに集中して適用され、背景の模様などにプロトタイプが費やされることを防いでいます。
以上が第1段階のプロトタイプ学習です。この段階ではバックボーンの重みは固定されたままであるため、基礎的な特徴空間（DINOの埋め込み空間）が持つ構造を維持したままプロトタイプが見つかる点が重要です。実際、この段階を終えた時点で、得られたプロトタイプだけでもある程度の分類性能と解釈性を発揮できることが報告されています。すなわち、DINOなど強力なバックボーンで抽出した特徴をクラスタリングすることで、各クラスの代表部位をかなり捉えたプロトタイプ集合が既に構築できているのです。

 説明可能な画像分類への適用 (Adaptation to Interpretable Image Classification)第2段階では、第1段階で学習したプロトタイプを固定し、それらをアンカー（基準点）としてバックボーンの特徴空間を微調整します。この目的は、各クラスの特徴がプロトタイプによってさらに明確に分離されるように特徴空間を調整し、分類性能を高めることです。ただし、不用意にバックボーン全体を学習させると、せっかく得たプロトタイプの意味が崩れたり特徴空間の良構造が損なわれてしまう恐れがあります。そこで本研究では、バックボーンの構造に新たな層を追加し、それ以外の重みは凍結するという工夫を行っています。
Block Expansion（ブロック拡張）による微調整: 図2.cに示されるように、ViTバックボーンの全Transformerブロック（例えばL層）をいくつかのグループに分割し、各グループの末尾に「恒等写像に初期化された新規ブロック」を挿入します。この新規ブロックは、直前のブロックの重みをコピーして初期化しつつ、Attentionの射影層とMLPの第2層の重みを0に設定することで、初期状態では完全な恒等関数（入力をそのまま出力）となるように工夫されています。すなわち、新ブロックを挿入しても初期状態ではバックボーン全体の出力は従来と変わらないようになっています。この状態から微調整では追加した新規ブロックとプロトタイプ重み（前述のw^{(c)}_{i}）だけを学習し、元からあるバックボーンの重みとプロトタイプ自体は凍結します。このアプローチにより、既存の特徴空間の良好な構造を維持しつつ、クラス識別に有用な変換を付加的に学習させることができます。
損失関数の設計: 微調整段階では、最終的な分類性能を高めるため通常のクロスエントロピー損失（分類誤差）を用いて学習を行います。加えて、本モデル特有の工夫として「パッチ-プロトタイプ距離の最適化」を目的とした損失を導入しています。これは、各パッチ特徴を適切なプロトタイプに引き寄せ、同時に同じクラス内の他のプロトタイプから引き離す（距離を広げる）よう促す損失項です。具体的には「インクラスのコントラスト損失」の一種で、各パッチを正例: 対応するプロトタイプ、負例: 同クラス内の他プロトタイプとして対比学習(contrastive learning)を行います。例えば、鳥クラスのあるパッチが「翼」のプロトタイプに割り当てられていれば、そのパッチと「翼」プロトタイプとの類似度を高めつつ、同じ鳥クラスでも「頭」や「脚」プロトタイプとの類似度は下げるように学習させます。こうすることで、各パッチが自分に割り当てられたプロトタイプのクラスタにしっかり属するようになり、クラスタ間の境界がより明瞭になります。
この損失をL_{\text{proto}}とし、通常の分類損失（クロスエントロピー）をL_{\text{CE}}とすると、最終的な総合損失は例えば次式のようになります（\lambdaは重み係数）:

    L_{\text{total}} \;=\; L_{\text{CE}} \;+\; \lambda\,L_{\text{proto}}. \tag{9}
微調整ではこのL_{\text{total}}を最小化するよう、新規追加したViTブロックの重みとプロトタイプ重みw^{(c)}_{i}を学習します。オリジナルのViTバックボーンとクラスタリングで得たプロトタイプは固定されているため、微調整によって各クラスの特徴分布がプロトタイプを中心によりシャープに分離されても、プロトタイプ自体の意味（各部位の代表特徴）は変化しません。結果として、分類精度を高めつつも解釈性を維持することができます。実際、コントラスト損失なしで新規ブロックだけを学習すると、特徴空間の構造が乱れてConsistencyやDistinctivenessが低下したのに対し、損失を加えることで精度を向上させつつ解釈指標も回復できたと報告されています。

 Distinctivenessスコア（識別性指標）
Distinctiveness（識別性）は、同じクラスに属する複数のプロトタイプがどれだけ異なる部位をとらえているかを測る指標です。理想的には、一つのクラス内のプロトタイプ同士は全て異なる概念（部位）を表現しているべきで、もし複数のプロトタイプが重複した領域に反応していると、ユーザにとって説明が冗長で混乱を招く可能性があります。
計算方法としては、まずある入力画像について、その正解クラスcの全プロトタイプに対する活性マップ（類似度マップ）を取得します。各マップを元の画像解像度にリサイズし、最も強く反応している領域（ピーク周辺）を境界箱（バウンディングボックス）で取り出します。こうして、クラスcのプロトタイプ1が画像のどの領域に注目したか、プロトタイプ2はどこか、…が矩形領域として得られます（図3.a参照）。次に、それら領域同士の重なり具合をIoU (Intersection over Union) で計算します。プロトタイプiとjによる領域をそれぞれR_i, R_jとすれば、そのIoUは以下で与えられます:

    \text{IoU}(R_i, R_j) \;=\; \frac{|\,R_i \cap R_j\,|}{|\,R_i \cup R_j\,|}\,. \tag{10}
この値は0～1の範囲をとり、値が大きいほど領域が重複していることを意味します。Distinctivenessスコアは、1画像における全プロトタイプ領域ペアのIoUの平均を用いて定義されます。重複が大きいほど値は大きくなりますが、識別性の観点では重複が小さい方が望ましいため、実際には**補数（1 - IoU）**を用いるなどして「重複が少ないほどスコア高」となるよう定義されます（論文の記述より、そのように変換していると推測されます）。全テスト画像について平均を取ったものが最終的なDistinctiveness指標となり、**値が高いほど各プロトタイプが互いに異なる部位を捉えている（識別的である）**ことを示します。

 Comprehensivenessスコア（網羅性指標）Distinctivenessが高いことは望ましい性質ですが、それだけでは必ずしも良い説明モデルとは限りません。例えば、全てのプロトタイプが互いに異なる領域を見ていても、それらが物体とは無関係な背景の各所だった場合、分類には寄与せず意味のない説明になってしまいます。このように「重複はないが大事な部分も見逃している」ケースを補足するため、**Comprehensiveness（網羅性）**という指標を導入します。Comprehensivenessは、プロトタイプ群が対象物の重要な部分を漏れなくカバーしているかを測ります。
計算方法は次の通りです。まずDistinctivenessと同様に、ある入力画像について正解クラスcのプロトタイプそれぞれの活性領域を取得します。ただしこちらでは、各プロトタイプの類似度マップS_iに閾値処理を施し、一定以上に高い類似度を示す画素を1とするバイナリマスクM_iを作ります。例えばマップを0～1に正規化した上で\tauという閾値を決め、M_i(u,v)=1 if S_i(u,v) > \tau、それ以外0、といった処理です（図3.b参照）。こうして各プロトタイプが強く反応した領域のマスクが得られます。次に、それら全プロトタイプのマスクの和集合をとり、結果として「プロトタイプ群全体で注目した領域」を表すマスクを得ます。最後に、この領域のマスクと画像中の物体の真のマスク（グランドトゥルースの前景領域）とのIoUを計算します。このIoUを画像毎に計算しテスト集合で平均したものをComprehensivenessスコアと定義します。**値が高いほど、プロトタイプ集合がその画像の物体領域を広くカバーできている（網羅的である）**ことを示します。例えばComprehensivenessが100%に近ければ、「そのクラスのプロトタイプ群は、入力物体の前景全体を余すことなく説明に使っている」と言えます。
本論文では、CUBなどに付属する物体のマスク情報（あるいはバウンディングボックス）をグランドトゥルースとしてComprehensivenessを算出しています。Distinctivenessと組み合わせることで、「プロトタイプが互いに異なる部分を見ているか」と「プロトタイプ全体で重要部分を漏れなく見ているか」の両面から説明性を評価できるようになります。

 実験 (Experiments)
 実験設定 (Experimental Settings)データセット: 提案手法の分類性能および説明性能を評価するため、以下のデータセットで実験を行っています。

CUB-200-2011: 鳥類200種類、画像数11,788枚からなる細粒度画像分類データセット。鳥の種ごとの識別には部位（翼や尾など）が重要となるため、部位ベース説明モデルの評価に適しています。

Stanford Cars: 車のモデル196種類、16,185枚の画像からなるデータセット。車体の部位（フロント部分、ホイール形状等）が種別識別に関与します。

Stanford Dogs: 犬種120種類、20,580枚の画像からなるデータセット。犬の模様や顔立ちなど細部特徴の識別が求められます。
上記3データセットで主な実験を行い、特にCUBについて詳細な結果を示しています（CarsとDogsの結果は補足資料に掲載）。また、概念学習 (Concept Learning) の実験として、CUBにおけるConcept Bottleneck Modelの設定も試みています。これは、例えば「くちばしの色」「翼の模様」といった人間が定義した中間概念を予測し、そこからクラスを推論する枠組みですが、提案手法のプロトタイプをこの概念予測に利用できるか（プロトタイプを概念に対応付けられるか）を検証するものです。
ベースライン手法と評価指標: 比較対象として、既存の主要なProtoPNet系モデルが実装・評価されています。具体的には:

ProtoPNet（Chenら 2019）: オリジナルのプロトタイプネットワーク。

Deformable ProtoPNet（Donnellyら 2022）: プロトタイプを入力に応じて変形させ対応させる拡張。

ProtoPool（Rymarzら 2022）: 各クラス固定数ではなく、全プロトタイプをプールして共有する方式（柔軟なプロトタイプ割当を許す）。

TesNet（Wangら 2021）: 前述のグラスマン多様体上のProtoPNet拡張。

EvalProtoPNet（Huangら 2022）: ProtoPNetに一貫性・安定性モジュールを組み込み説明品質を高めたモデル。
評価指標としては、分類精度（Top-1 Accuracy）に加え、提案したDistinctivenessとComprehensivenessを測定しています。さらに、Huangらが導入したConsistencyとStabilityも評価しています。Consistency（一貫性）は「各プロトタイプが異なる画像でも常に同じ部位に対応しているか」を測る指標で、Stability（安定性）は「入力画像にノイズ等の摂動を加えてもプロトタイプの対応部位が変わらないか」を測ります。要するに、プロトタイプの意味が入力に依らずブレないかを評価するものです。この2指標はEvalProtoPNetでも使用されており、プロトタイプ説明の信頼性に関する重要な尺度です。
モデル設定: 提案法および他手法すべてで、ViTバックボーンとして以下の3種類を使用しています。

DINOv2 ViT-B/14: 自己教師（自己蒸留）学習によりLAIONなど大規模データで事前学習されたViT-B（Base, patch size 14）。

DINOv2 ViT-S/14: 上記の小型版ViT-S (Small)。

DINO ViT-B/16: オリジナルDINO（Caronら 2021）の事前学習ViT-B（patch size 16, ImageNet事前学習）。
バックボーンはいずれも教師なしで学習されており、今回の細分類タスクにはイメージレベルのクラスラベルのみで微調整しています。実験では各手法ともプロトタイプ数K=3およびK=5の場合を評価し、モデルによる差異だけでなくプロトタイプ数の影響も検証しています（ProtoPNet系ではKを増やすと説明の粒度が上がるが重複の懸念もある）。
学習時のハイパーパラメータ: 提案手法では、第1段階のクラスタリングには各クラスあたりKクラスタを設定し（Kは上記のとおり3または5）、Sinkhornアルゴリズムの正則化係数\omega=0.05などは既存研究に倣っています。第2段階の微調整では、Block Expansionで追加したViTブロック数は各グループ1つ（合計でバックボーン全体の約25%層数増）程度に設定しています。また、学習エポック数は第1段階が1エポック、第2段階は5エポック程度とごく短いスケジュールで学習できています。これは、事前学習済みバックボーンの恩恵で初期特徴空間が良質であり、少ない微調整で十分性能が出せるためです。オプティマイザはAdamを使用し、第2段階では追加ブロックの学習率をやや高め（例えば10^{-3}程度）、バックボーン凍結部分は学習率0、プロトタイプ重みw^{(c)}_{i}には中程度の学習率（10^{-2}程度）を与えるとされています。一方、他のProtoPNet系手法も公式実装に基づき可能な限り公平に再現して評価しています。特にProtoPNet系ではプロトタイプ数Kの設定が精度と解釈性のトレードオフになりますが、論文では全ベースラインでベストの結果が出るようKを調整した（K=3または5）と述べられています。

 定量的結果 (Quantitative Results)

まず、CUB-200-2011データセットにおける提案手法とベースラインの比較結果を示します（表1）。表にはConsistency（Con.）, Stability（Sta.）, Distinctiveness（Dis.）, **Classification Accuracy（Class.）**の4指標がパーセント値(%)で列挙されています。さらに各モデルについて、使用バックボーン（DINOv2 ViT-B/14, ViT-S/14, DINO ViT-B/16）ごとの結果が示されています。以下では主にViT-B/14の場合（左ブロックの数値）を中心に論じます。

分類精度: 提案手法（Ours）は90.82% (K=5)の精度を達成しており、これは既存の最良モデルであるTesNet (90.35%)やEvalProtoPNet (90.06%)をわずかに上回っています。K=3の場合も90.37%と高く、全ベースラインモデルの精度と同等以上です。したがって本手法は解釈性を向上しつつ精度面の妥協はないことが分かります。

Distinctiveness（識別性）: 提案手法のDistinctivenessスコアは94.45% (K=5)と極めて高い値を示しました。これは**ProtoPNet (K=5)の11.99%やEvalProtoPNet (K=5)**の72.12%などと比較しても圧倒的に高く、各プロトタイプがほぼ完全に異なる領域を見ていることを示しています。特に、ベースライン中で比較的高かったEvalProtoPNetでさえ72%程度であったのに対し、本手法は95%近くに達しており、重複のない概念カバレッジという目標を大幅に実現できているといえます。なお、他の手法ではProtoPoolもDistinctivenessが89.62%と高めですが、後述の通り別指標で課題があります。またK=3とK=5で傾向を見ると、従来法ではProtoPNetなどはK=5に増やすことで若干識別性が向上するケースもありましたが（例: ProtoPNet B/14で5.77→11.99%）、それでも低水準です。一方提案法ではKを増やすと86.44%→94.45%とさらに向上しており、プロトタイプ数を増やせばその分だけ新たな部位をしっかりカバーできていることが伺えます。

Comprehensiveness（網羅性）: 表1では網羅性スコアは掲載されていませんが、論文中の記述によれば提案手法はComprehensivenessでも他法を上回る結果を示しています。例えば、図4では各モデルのDistinctivenessおよびComprehensivenessを閾値や領域サイズを変えて評価していますが、提案手法は常にComprehensivenessが最も高い曲線を描いています。これは、複数プロトタイプで対象物の主要部位をほぼカバーできていることを意味します。一方、ProtoPoolのようにDistinctivenessは高くてもComprehensivenessが低いモデル（=背景ばかり見ている可能性）もあり、本手法はその点でも優れているといえます。

Consistency & Stability: 提案手法は一貫性・安定性の点でも良好です。例えばConsistency: 66.40%, Stability: 82.97% (K=5)は、ベースライン中最高だったEvalProtoPNet (Consistency 67.80%, Stability 74.40%)に匹敵し、特にStabilityは提案手法が最も高い値となりました。Consistency（同じプロトタイプが常に同じ部位を見る割合）はEvalProtoPNetに僅差で及ばないものの（67.8% vs 66.4%）、提案法も十分高く、プロトタイプの意味が画像間で安定していることが分かります。ProtoPoolはDistinctivenessこそ高いものの、Consistencyが低く（約29%）安定して同じ部位を見ていないことが問題でした。その点、提案手法は高いDistinctivenessと高いConsistency/Stabilityを両立しており、プロトタイプの多様性と信頼性のバランスが取れています。
以上の結果から、提案手法は分類性能を維持しつつ説明指標が総合的に優れることが確認できました。なお、Stanford CarsおよびDogsについても同様の傾向が確認されています（補足資料参照）。加えて、CUBでの概念学習実験では、提案手法のプロトタイプを概念ボトルネックに利用することで高い概念予測精度と説明の信頼性が得られています。これは本手法で得られたプロトタイプが、人間に理解できる概念（例：「嘴の色」など）に結び付けられるポテンシャルを持つことを示唆しています。

 定性的結果 (Qualitative Results)

モデルの説明性を具体的に示すため、各手法が画像のどの部分に注目しているかを可視化した結果が図5に示されています。ここでは、同じ入力画像についてProtoPNet系各モデルが出力する最上位プロトタイプの活性マップ（ヒートマップ）を比較しています。代表として2つの画像例が示されています。

ProtoPNet (ViTバックボーン): 左端の結果は従来型ProtoPNetをViTバックボーンで学習した場合ですが、説明性が著しく低下しているのが分かります。もっとも反応の強かった領域の多くが物体（鳥）の前景外、すなわち背景に当たっています。これは、ViTの高次特徴空間においてProtoPNetの「各画像にプロトタイプがマッチする領域を作る」という制約が、背景の紋様などに対しても無理にプロトタイプを当てはめてしまった結果と考えられます。本来注目すべき鳥の部分が強調されていないため、この説明からは分類の根拠を読み取りづらく、ProtoPNetが十分機能していない例といえます。

ProtoPool: 左から2番目はProtoPoolの可視化です。ProtoPoolは多数のプロトタイプを共有プールする分、多様な領域をカバーしやすい傾向があります。実際この例でも、物体内部の様々な領域（鳥の頭や翼など）に反応するプロトタイプが見られ、ProtoPNetよりは改善しています。しかし一方で、まだ背景をハイライトするプロトタイプも存在しており、説明としてノイズが混じっています。また共有型ゆえに各プロトタイプの意味が曖昧になりやすく、一貫性も劣る傾向が表れています（定量評価でConsistencyが低かったことと一致）。

EvalProtoPNet: 左から3番目はEvalProtoPNetの結果です。これは既存手法の中では最も良好な可視化となっています。ほとんどのプロトタイプは物体内部の何らかの部位にきちんと反応しており、背景を見てしまう問題はかなり抑えられています。さらに各プロトタイプが異なる部位（例: 頭と翼）を見ているケースも多く、視覚的説明の質は向上しています。しかし、それでもなお完全に重複が解消したわけではありません】。可視化例では、4つ中少なくとも2つのプロトタイプが同じ部位**（同じ概念）をハイライトしているケースが確認できます。実際、著者らは「各例で4つ中少なくとも2つは同じ概念を強調している」と述べており、これは当該モデルのバックボーンをCNN（DenseNet161）に変えても同様でした。つまりEvalProtoPNetでもプロトタイプ間の多様性には限界があり、まだ重複した概念が残っているのです。

提案手法 (Ours): 右端が提案法の可視化結果です。本手法のプロトタイプは明確に異なる部位をそれぞれ捉えていることが分かります。例では、鳥の頭部・翼・尾・脚といった具合に、一つの画像内の主要な部位すべてに対して異なるプロトタイプが反応しています。背景が強調されることもなく、概念的に最も多様で網羅的な説明になっていると述べられています。これはまさに、本手法が目指した「各クラスについて包括的かつ識別的な部位集合をプロトタイプで表現する」という点が視覚的にも確認できた結果です。さらに、このような説明の質の向上は入力が変わっても一貫しており、説明の信頼性も高いことが示唆されています。
以上より、提案手法は従来法に比べ遥かに直観的で分かりやすいビジュアルエクスプラネーションを提供できていることが確認されました。特に、背景に引っ張られず前景の各パーツを的確に捉え、重複なく多様である点は重要です。これはユーザがモデルの判断根拠を理解しやすくなるだけでなく、モデル開発者がプロトタイプの意味を人間ラベルに対応付けて解釈する際にも有用です（例：「プロトタイプ1はどうやら鳥の頭を表している」等）。総じて、本手法は説明可能AIモデルとして望ましい性質を備えているといえます。

 アブレーション研究 (Ablation Study)

提案フレームワークにおける各構成要素の有効性を検証するため、主要な要素を省いた場合の性能変化を評価しています。表3に、その結果としてCUBデータセット上のConsistency・Stability・Distinctiveness・Accuracyの値をまとめています。以下、それぞれの省略ケースについて考察します。
「一意割当・等分割制約なし」（No constraints）: クラスタリング時の制約(2)式を外し、各パッチが自由にプロトタイプに割り当てられるようにした場合です。このとき結果はAccuracy: 9.25%と分類不能, Distinctivenessも49.47%程度に留まりました。プロトタイプ間の直交制約等も無いためConsistencyも4.09%と極端に低く、まともに学習できていないことが分かります。これは、制約が無いとクラスタリングアルゴリズムが意味的に類似したパッチを同じクラスタにまとめきれず、プロトタイプが各クラスの分布を捉え損ねるためです。結果として、得られたプロトタイプは分類能力を持たず（もはやプロトタイプだけでクラスを区別できない）、当然説明の質も確保できません。この比較は、一意割当・等分割といった非パラメトリックプロトタイプ学習の肝要な工夫が不可欠であることを如実に示しています。
「前景抽出なし」（No foreground extraction）: 背景パッチも含めてクラスタリングした場合です。結果はAccuracy: 64.29%と大きく低下し、Consistencyも28.40%に下がりました。Distinctiveness自体は92.69%と高めの値が出ていますが、これは全プロトタイプがバラバラなものの、肝心の前景を見ていない可能性も考えられます。実際、背景混入によりプロトタイプの質が悪化することは著者らも指摘しており、背景まで含めてクラスタリングするとプロトタイプが本来関連の薄いパターンまで記憶してしまい性能が著しく落ちると述べています。つまり、前景抽出モジュールはプロトタイプ学習の精度向上に重要だといえます。
「特徴空間微調整なし」（No feature space tuning）: 第2段階のバックボーン微調整を行わず、第1段階で得たプロトタイプだけで分類する場合です。この場合Accuracy: 77.96%となり、フルモデル(91.02%)に比べ約13ポイント低下しました。一方、ConsistencyやDistinctivenessなどの指標はフルモデルと同等かそれ以上の値が出ています（むしろ若干高い）。これは、微調整をしないことで解釈性は担保されるが分類境界の調整が不十分で精度が落ちている状態といえます。著者も、第1段階だけでもプロトタイプで物体認識が可能だが第2段階で各クラスの特徴分離を強化することで精度が大きく向上する旨を述べています。したがって、特徴空間の微調整（プロトタイプアンカリング付きのfine-tuning）は分類性能向上に極めて重要です。一方で微調整をしなくとも解釈指標は良好であることから、初期のプロトタイプ学習がそれだけ高品質であることもうかがえます。
「パッチ-プロトタイプ損失なし」（No loss）: 第2段階の微調整で、先述のコントラスト損失L_{\text{proto}}を入れずに学習した場合です。Accuracyは90.78%とフルモデル(91.02%)とほぼ同等でした。しかし、Consistencyが55.61%（フルモデル66.4%）、Distinctivenessも80.41%（同96.74%）と解釈指標が軒並み悪化しています。これは、新規ブロックを損失なしで微調整した際にバックボーンの特徴空間構造が乱れ、結果としてプロトタイプの対応部位が揺らいだり重複したりしてしまったことを示唆します。実際、ノーガイドでfine-tuningするとDINOバックボーンの良構造が壊れConsistencyやDistinctivenessが低下するが、コントラスト損失で各パッチを正しいプロトタイプに引きつけることで解釈指標が回復したと述べられています。したがって、パッチ-プロトタイプ損失は解釈性維持に重要な役割を果たしているといえます。
以上のアブレーションから、本手法の全ての構成要素（制約、前景抽出、特徴空間微調整、対比損失）がそれぞれ重要であることが確認されました。特に、一意割当・等分割制約と前景抽出という非パラメトリックプロトタイプ学習の工夫がなければ本手法の根幹である意味的な部位クラスタは成立せず、また微調整および損失の工夫がなければ精度と解釈性の両立は難しかったことが分かります。このように各要素が組み合わさって効果を発揮することで、提案フレームワークの高い性能と説明性が実現されています。

 結論 (Conclusion)本論文では、非パラメトリックな部位プロトタイプ学習を用いた新しい説明可能画像分類モデルを提案しました。既存ProtoPNet系モデルの限界であった、「説明が繰り返しがちで対象物の一部しか示さない」という問題点を明らかにし、それを解決するためにプロトタイプをデータクラスタ中心として学習する戦略を導入しました。提案手法では、自己教師型ViTから抽出した豊かな特徴をクラスタリングすることで、各クラスの多様で包括的な部位パーツをプロトタイプ集合として獲得します。さらに、DistinctivenessスコアとComprehensivenessスコアという新指標を提案し、様々なProtoPNet系モデルによる説明の質を定量的に評価できるようにしました。これらの指標を用いた評価により、本手法が既存手法を解釈性の面で大きく上回ることが示されました。また、分類精度も最先端と同等であるため、性能と説明性を両立したモデルとなっています。本研究が提案したアプローチや評価手法は、今後のより高度な部位ベース説明可能モデルの開発に向けた基盤になると期待されます。