Zenn
🧑‍💻

ノイズ空間を使った新しい画像復元のドメイン適応

2025/02/04に公開
AI
diffusion
denoise
tech

～拡散モデル(Diffusion Model)で合成＆実データを一挙にきれいにする仕組み～

こんにちは。今回は、「画像復元（Image Restoration）のドメイン適応を“ノイズ空間”で行う」という、ちょっとユニークでパワフルな研究をご紹介します。タイトルは「DENOISING AS ADAPTATION: NOISE-SPACE DOMAIN ADAPTATION FOR IMAGE RESTORATION」という論文です。

ノイズ除去、雨除去、ぼかし除去などの画像復元タスクは、いまや深層学習がすごい性能を発揮しています。ただし、その学習には高精度な「ペアデータ」（劣化画像とクリーン画像）を大量に用意しなければいけません。現実世界の撮影データでは、なかなかペア画像が撮れない（“実データ”はラベルなし）ため、従来は合成データ（ラベルあり）との間に大きなギャップが生じてしまうという問題がありました。

本論文では、そんなギャップを埋めるために**「ノイズ空間(Denoising)」でのドメイン適応**という新発想を提案。ポイントは、「拡散モデル（Diffusion Model）をノイズ予測に使う」ことで、ペアなしの実データにも“もっときれいにしろ”という勾配を返せるようにしているところです。以下、詳しく見ていきましょう。

1. 背景：なぜドメイン適応が必要？

1.1 合成データと実データのギャップ

  • 合成データ
    • 高画質な画像にノイズや雨粒、ぼかしなどを“人工的に”付与したもの。
    • 正解ラベル（クリーン画像）とのペアを簡単に生成できる。
  • 実データ
    • 本物の撮影で得られた劣化画像。ノイズの性質や環境要因が複雑。
    • 正解ラベルを撮影するのが難しく、ほとんど“未ラベル”状態。

合成データで学習したモデルは、実データとは分布が微妙に異なるので、いざ実世界の画像を復元しようとすると性能がガクッと落ちてしまいます。ここを「ドメインギャップ」と呼び、従来はGANを使ったピクセル空間のスタイル変換や、特徴空間での分布合わせなど、さまざまな方法が提案されてきました。

2. 提案：ノイズ空間でのドメイン適応 (Noise-DA)

2.1 拡散モデルを“ノイズ指標”として活用する

従来の**拡散モデル（Diffusion Model）**は、

  1. クリーン画像に段階的にノイズを加える（フォワード過程）
  2. 逆にノイズを除去してクリーン画像に戻す（リバース過程）
    という学習を通じて、最終的には「ノイズから画像を生成」できるモデルとして知られています。

ところが本論文では、拡散モデルを「ノイズ生成器」ではなく、「ノイズを当てる＝推定する」ネットワークとして利用し、学習時の損失（ノイズ推定誤差）を復元ネットワークに返すという使い方をしています。

2.2 実データもクリーン分布に近づける仕組み

  • 合成データ
    • 入力（劣化画像）と正解（クリーン画像）のペアがあるので、通常のL1/L2損失で学習可能。
  • 実データ
    • ペアなし。正解がわからない。
    • ここで“ノイズ空間”の出番。拡散モデルに「クリーン画像 + ノイズ」をメイン入力として与え、さらに“復元ネットワークの出力”を条件として与えると、**「この条件がもっとクリーンな画像なら、ノイズ予測が簡単で損失が小さい」**という現象が起こります。
    • 復元ネットワークはその損失を減らすために、「実データをよりクリーンに」出力する方向へ更新される。結果、ペアなしの実データでもどんどんクリーン化が進む、というわけです。

3. 実際どうやって“ショートカット”を防ぐのか？

「合成データはペア付きで復元が簡単、実データは難しいなら、拡散モデルは合成データだけ学習して実データを無視してしまわないの？」という疑問が出るかもしれません。

3.1 チャネルシャッフル

  • 復元ネットワークが出力する「合成データ用の復元画像」と「実データ用の復元画像」をチャネル結合し、そのチャネル順序をランダムに混ぜる。
  • 拡散モデルが「どっちが実か合成か」を簡単には見分けられず、両方をうまく処理しないと損失が下がらないようにしている。

3.2 残差スワッピング

  • 合成と実の残差をあえて入れ替えた“誤り例”を拡散モデルに見せ、正例とは大きく差が出るようコントラスト学習を行う。
  • これによっても拡散モデルが単純な見分けに頼れず、両方で正しい“ノイズ除去”をする方向に誘導される。

4. 疑問

Q1. 「実データは正解画像がないのに、どうしてクリーン分布に近づくの？」

  • A1. 拡散モデルの入力として「クリーン画像+ノイズ」が常に存在し、そのノイズは正解がわかる(GT Noise)ので学習可能。
    実データ側の出力はあくまで“条件”としてだけ混ざっており、クリーン出力ならノイズ推定が楽になる → 拡散損失が下がる → 学習が進む仕組み。

Q2. 「実データを無視してもいいんじゃないの？」

  • A2. チャネルシャッフル等の細工で合成と実を見分けにくくし、実データを無視すると損失が高止まりして最適解に到達できなくなる。
    よって、合成・実どちらもクリーンにするほうが得策になり、実データも適切に除去される。

Q3. 「結局どんなモデルが最終的に手に入る？」

  • A3. 合成でも実でもノイズ除去がしっかり効く“ハイブリッドモデル”が得られます。
    学習時に両方の損失を同時に扱うため、どちらの性能もそこそこ、ではなく実データで大きく性能アップが見込める。

5. 応用の可能性

本論文ではノイズ除去（Denoising）、雨除去（Deraining）、ぼかし除去（Deblurring）などに適用して、高い性能を示しています。さらに、

  • トーンマッピング
    • 小規模ペアデータ（人が好みで編集した画像）＋大量の生データという構図でも応用可能かも。
  • デプス推定
    • 合成で生成したペア＋大量の実映像を使って、拡散モデルが“誤差ノイズ”を推定する形にも応用できるか？

といったアイデアが考えられます。いずれにしても、「ペアあり少量・ペアなし大量」という典型的なドメイン適応シナリオで拡散モデルを役立てられる、という意義が大きいです。

6. まとめ

  • 本論文: 「DENOISING AS ADAPTATION」
  • キーワード: ノイズ空間（拡散モデル）、ドメイン適応、合成データ＋実データ
  • ポイント:
    1. 拡散モデルを“ノイズ予測器”として使う → 実データにもクリーン化勾配を返せる
    2. チャネルシャッフル＆残差スワッピング → 合成だけで学習するショートカットを防止
    3. 学習後は拡散モデルを破棄 → 推論時のコスト増なし
    4. ノイズ除去だけでなく雨除去・ぼかし除去にも有効 → 広範な劣化を“ノイズ”として扱える

要するに、ペアなし実データを使ったドメイン適応が拡散モデルでこんなにうまくいくのか、と驚かされる研究です。合成と実のギャップをノイズ空間で橋渡しするというアプローチは、従来のGANに頼ったピクセル変換や特徴量整合に比べて、シンプルかつ強力。
今後も“ノイズ除去という形に落とし込めば、未ラベルデータにも勾配が返せる”という着想は、ほかの画像処理タスクや推定タスクにも派生していきそうですね。

参考リンク

もし「ペア付きデータが少ない」「実データがたくさんあるけど正解がない」という悩みをお持ちなら、是非このNoise-DAの考えを試してみてはいかがでしょうか。読み物としてもなかなか面白い論文です。

以上、拡散モデルを使ったノイズ空間ドメイン適応のまとめでした！

Discussion