論文要約：SynthMix: Mixing up Aligned Synthesis for Medical Cross-Modality

SynthMix: Mixing up Aligned Synthesis for Medical Cross-Modality Domain Adaptation

概要

疑似画像生成において、詳細特徴の生成品質を向上する、SynthMixを提案。領域分割のモダリティドメイン適応問題において、提案モジュールをadd-onすることで、2つのデータセットでSOTA。

書誌情報

2023/5/7
Xinwen Zhang、他
シドニー大学
https://arxiv.org/abs/2305.04156

背景

医療分野では、ラベルありデータが少ないため、合成画像を生成する敵対的方法は有効。
ただ、従来は、ネットワークアーキテクチャが研究されていて、学習方法はほとんど研究されていない。

方法

疑似画像生成において、詳細特徴の生成品質を向上する、SynthMixを提案。
実画像とその疑似画像をmixup。mixup inspectorはmixupを識別。そうすることで、generatorにドメイン固有の局所特徴を学習させる。
mixup inspectorは、segmentation、ganのネットワークを変えずに、add-onできる。

ネットワーク構成は以下の通り。

CycleGAN
ペアになっていないsource画像とtarget画像を用いる。
①source画像からgeneratorで疑似target画像（s→t）を生成。
②疑似target画像（s→t）からgeneratorで疑似source画像（s→t→s）を生成。
　同時に、target画像からgeneratorで疑似source画像（t→s）を生成しておく。
③source画像と疑似source画像（s→t→s）が一致するように学習。
④source画像、target画像、疑似target画像、疑似source画像全てでdiscriminatorを学習。

segmentation
⑤疑似target画像からsegmentorで領域分割を学習。

mixup inspector
⑥source画像と疑似source画像（s→t→s）をmixupし、source mixup画像を生成。
⑦target画像と疑似source画像（t→s）をmixupし、target mixup画像を生成。
⑧source画像、source mixup画像、target画像、target mixup画像全てでmixup inspectorはmixupを学習。

結果

モダリティドメイン適応で評価。
MR-CT変換、CT-MR変換。
2つのデータセットでSOTA。

上2行はCT。下1行はMR。定性的に提案手法がSIFAより優位。

ablation study