論文要約：SynthMix: Mixing up Aligned Synthesis for Medical Cross-Modality
SynthMix: Mixing up Aligned Synthesis for Medical Cross-Modality Domain Adaptation
概要
疑似画像生成において、詳細特徴の生成品質を向上する、SynthMixを提案。領域分割のモダリティドメイン適応問題において、提案モジュールをadd-onすることで、2つのデータセットでSOTA。
書誌情報
2023/5/7
Xinwen Zhang、他
シドニー大学
背景
医療分野では、ラベルありデータが少ないため、合成画像を生成する敵対的方法は有効。
ただ、従来は、ネットワークアーキテクチャが研究されていて、学習方法はほとんど研究されていない。
方法
疑似画像生成において、詳細特徴の生成品質を向上する、SynthMixを提案。
実画像とその疑似画像をmixup。mixup inspectorはmixupを識別。そうすることで、generatorにドメイン固有の局所特徴を学習させる。
mixup inspectorは、segmentation、ganのネットワークを変えずに、add-onできる。
ネットワーク構成は以下の通り。
CycleGAN
ペアになっていないsource画像とtarget画像を用いる。
①source画像からgeneratorで疑似target画像（s→t）を生成。
②疑似target画像（s→t）からgeneratorで疑似source画像（s→t→s）を生成。
同時に、target画像からgeneratorで疑似source画像（t→s）を生成しておく。
③source画像と疑似source画像（s→t→s）が一致するように学習。
④source画像、target画像、疑似target画像、疑似source画像全てでdiscriminatorを学習。
segmentation
⑤疑似target画像からsegmentorで領域分割を学習。
mixup inspector
⑥source画像と疑似source画像（s→t→s）をmixupし、source mixup画像を生成。
⑦target画像と疑似source画像（t→s）をmixupし、target mixup画像を生成。
⑧source画像、source mixup画像、target画像、target mixup画像全てでmixup inspectorはmixupを学習。
結果
モダリティドメイン適応で評価。
MR-CT変換、CT-MR変換。
2つのデータセットでSOTA。
上2行はCT。下1行はMR。定性的に提案手法がSIFAより優位。
ablation study
Discussion