論文要約：Q-Net

Q-Net: Query-Informed Few-Shot Medical Image Segmentation

概要

メタ学習における分布シフト対策。異常検知のADNetを改良し、クエリに基づいてプロトタイプを修正するように改良。MR画像でSOTA。

書誌情報

2022/8/24
Qianqian Shen
江省研究院応用数学・機械知能研究センター
https://arxiv.org/abs/2208.11451v1

背景

医療画像セグメンテーションではアノテーションが少ないため、Meta-learning techniques for few-shot segmentation (Meta-FSS)が利用される。しかし、クエリとデータセットの分布シフトが考慮されていない。

方法

クエリ情報付きMeta-FSS、Q-Netを提案。Q-Netは、異常検知のADNetに基づく。ADNetに、クエリ情報付き閾値適応モジュールとクエリ情報付きプロトタイプ修正モジュールの2つのモジュールを追加、特徴抽出モジュールと2つのモジュールで構成されるネットワークをデュアルパスに拡張。解像度を変えてそれぞれのネットワークに入力、組み合わせる。推論時はクエリ情報付きプロトタイプ修正モジュールはオフにする。

サポート画像　メタ学習用の学習データセット。
クエリー画像　セグメンテーション学習用のテストデータセット。
プロトタイプ　各クラスの平均特徴量。

①サポート画像を特徴量エンコーダーに入力、サポート特徴量を算出。
②サポート特徴量とサポートマスクから前景プロトタイプを算出。
③クエリー画像を特徴量エンコーダーに入力、クエリー特徴量を算出。
④前景プロトタイプとクエリー特徴量が同じとなるように前景プロトコルを更新（プロトタイプ修正モジュール）。
⑤前景プロトタイプとクエリー特徴量からコサイン類似度と閾値に基づいてセグメンテーション（プロトタイプ推定モジュール）。
⑥解像度の異なるネットワークで①～⑤を実施。
⑦2つのネットワークのセグメンテーション結果を合成し、クエリーマスクを生成。

ADNetと比較して、閾値を調整する点、プロトタイプを調整する点、マルチスケールである点、が異なる。

結果

2つのデータセット（腹部MR画像と心臓MR画像）で概ね優位。