論文要約：FoPro-KD: Fourier Prompted Effective Knowledge Distillation for L

FoPro-KD: Fourier Prompted Effective Knowledge Distillation for Long-TailedMedical Image Recognition

概要

Fourier Prompted Effective Knowledge Distillation for Long-TailedMedical Image Recognition（FoPro-KD、フーリエプロンプト蒸留）を提案。周波数パターンに基づくことで、大規模事前学習モデルから効果的に蒸留。

書誌情報

2023/5/27
Marawan Elbatel、他
香港科技大学
https://arxiv.org/abs/2305.17421

背景

医療画像で転移学習は有用。
しかし、一般の大規模事前学習モデルは、医療画像ではデータが少ないために、過学習しやすい。
計算コストがかかるため、臨床に有効でもない。

方法

Fourier Prompted Effective Knowledge Distillation for Long-TailedMedical Image Recognition（FoPro-KD、フーリエプロンプト蒸留）を提案。
FoPro-KDは、Fourier prompt generator（FPG）、effective knowledge distillation（EKD）、adversarial knowledge distillation（AKD）の3つで構成。

Fourier prompt generator（FPG、フーリエプロンプト生成器）　事前学習モデルからフーリエプロンプトに基づいて対象データセットに有用な周波数を探索。
effective knowledge distillation（EKD、効果的蒸留）　小さなモデルに蒸留。過学習抑制。
adversarial knowledge distillation（AKD、敵対的蒸留）　蒸留を強化
探索と蒸留を交互に行う

結果

医療画像で大幅に性能向上。
事前学習モデルから学習した周波数パターンを用いることで、大規模事前学習モデルからの転移学習と圧縮の可能性を示す。