論文要約：A Review of Predictive and Contrastive Self-supervised Learning f

A Review of Predictive and Contrastive Self-supervised Learning for Medical Images

概要

対照SSLの医療画像適用のレビュー論文。医療画像解析は、アノテーションが不足しており、自己教師あり対照学習（対照SSL）は有用。

書誌情報

2023/2/10
Wei-Chien Wang、他
シドニー大学、他
https://arxiv.org/abs/2302.05043

方法

予測学習は、相対位置、ジグソーパズル、回転の3種類。
相対位置。パッチに分割、中心パッチと周辺パッチの相対位置を予測。
ジグソーパズル。パッチに分割、シャッフル。並びを予測。
回転。回転角度を予測。

対照SSL。
コンテキスト－インスタンス対照。サンプル中のローカル特徴とグローバル特徴の関係を学習。
インスタンス－インスタンス対照。異なるサンプル間のローカル特徴の関係を学習。
また、時間的対照を新たに提案。

対照学習loss関数。
Triplet loss。正のサンプルとの距離を0。負のサンプルとの距離をマージン以上。
InfoNCE。1つの正のサンプルと多数の負のサンプル。
Deep InfoMAX。相互情報量最大化。

コンテキスト－インスタンス対照。
Contrastive Predictive Coding（CPC）。

インスタンス－インスタンス対照。
マルチモーダル学習。局所表現学習。マルチスケール学習。テクスチャ表現学習。構造表現学習。
メモリーバンク。モーメンタムエンコーダ。モーメンタムコントラスト。Contrastive Multiview Coding（CMC）。クラスタリング。

時間的対照。
ビデオ、画像シーケンスを利用。前後のフレーム（正のサンプル）がランダムなフレーム（負のサンプル）より近いことを学習。

結論

SSLによる事前学習はラベルなしデータセットから潜在表現を学習可。教師あり学習と同等。

ただし、医療画像適用には注意が必要。
自然画像の事前学習方法が最適とは限らない。
自然画像用のaugmentationは医療画像には適さない可能性がある。
医療画像の特徴に基づいて適切な負のサンプルを選択必要。