論文メモ：知識蒸留で実画像ノイズ除去をモバイルNPU向けに高速化する

はじめに

この記事は、以下の論文を読んだ技術メモです。

• 論文タイトル: Real Image Denoising with Knowledge Distillation for High-Performance Mobile NPUs
• 論文リンク: https://arxiv.org/pdf/2605.03680v1
• 著者: Faraz Kayani, Sarmad Kayani, Asad Ahmed, Radu Timofte, Dmitry Ignatov
• 公開日: 2026年5月6日

詳細な背景説明、図解、実験結果の整理は個人ブログ側にまとめています。

👉 完全版はこちら：https://kasblo.com/ai-paper/mobile-npu-denoising-knowledge-distillation/

3行まとめ

• 実画像ノイズ除去モデルを、スマートフォンのNPU（ニューラル処理専用アクセラレータ）で高速に動かすための論文です。
• 高性能な教師モデルから軽量な学生モデルへ知識蒸留（大きなモデルの出力を小さなモデルに学習させる手法）し、画質低下を抑えています。
• 3x3 convolution、ReLU、nearest-neighbor upsampling などNPUで最適化されやすい演算に寄せることで、実機NPU上の高速推論を狙っています。

何の論文か

この論文は、実画像ノイズ除去をモバイル端末上で実用的に動かすための研究です。

画像復元モデルは、近年かなり高品質になっています。一方で、スマートフォンのNPUに載せようとすると、モデル内の演算子がNPUに合わなかったり、メモリアクセスが重かったりして、期待したほど速くならないことがあります。

そこで著者らは、単にモデルを小さくするのではなく、NPUで効率よく動く演算を優先してモデルを設計しています。いわば「画質」と「実機推論速度」を同時に見る、ハードウェア意識の強い画像復元モデルです。

何が新しいのか

ポイントは、知識蒸留とNPU向けモデル設計を組み合わせているところです。

観点	内容	狙い
教師モデル	高性能だが重いモデル	高品質な復元結果を学習の目標にする
学生モデル	LiteDenoiseNet という軽量モデル	モバイルNPUで動かしやすくする
演算子選択	3x3 convolution、ReLU、nearest-neighbor upsampling を優先	NPU非対応・非効率な処理を避ける
学習戦略	Progressive context expansion を利用	高解像度画像での文脈を扱いやすくする
評価	MediaTek / Qualcomm のNPU上で推論時間を測定	ベンチマーク精度だけでなく実機性能を見る

特に面白いのは、NPUで速く動くために「使える演算」をかなり絞っている点です。3x3 convolution や ReLU はCNNで頻繁に使われるため、NPUランタイムやコンパイラ側で専用カーネル（特定演算を高速に実行する実装）として最適化されていることが多いです。nearest-neighbor upsampling も補間計算が単純で、複雑なメモリアクセスやCPU/GPUへのフォールバックを避けやすい演算です。

画像復元モデルでは複雑なブロックを入れたくなりますが、モバイルNPUでは演算子の互換性がそのまま速度に効きます。

技術的に面白い点

この論文で一番実装寄りに面白いのは、NPU上での実行を前提にモデル構造を決めているところです。

一般的な画像復元モデルでは、精度改善のために複雑な注意機構や特殊な演算を入れたくなります。しかし、それらがモバイルNPUで効率よく実行できるとは限りません。CPUやGPUでは動いても、NPUではフォールバックやメモリ転送が発生して、結果的に遅くなる可能性があります。

著者らはこの問題に対して、NPUが得意な基本演算に寄せた軽量ネットワークを設計しています。標準的な畳み込みや単純な活性化関数は、演算パターンが固定されていてメモリアクセスも予測しやすいため、NPU側でタイル処理や演算融合を行いやすいからです。そのうえで、教師モデルの復元品質を学生モデルへ移すことで、軽量化による画質劣化を抑えています。

主な結果

論文では、Mobile AI 2026 Challenge の設定で以下のような結果が報告されています。

指標	結果
Validation	37.66 dB PSNR / 0.9278 SSIM
Held-out test	37.58 dB PSNR / 0.9098 SSIM
学生モデル	1.96M parameters
パラメータ削減	教師モデル比で21.2倍削減
教師との差	PSNR差を1.63 dBから0.05 dBまで縮小
MediaTek Dimensity 9500	34.0 ms
Qualcomm Snapdragon 8 Elite NPU	46.1 ms

PSNR（画素単位の誤差に基づく画質指標）とSSIM（画像構造の類似度を見る指標）の両方で、軽量モデルとして高い復元品質を維持している点が主張されています。

また、論文ではNPU向け演算に厳密に寄せることで、モバイルGPUよりNPU専用実行の方が最大3.88倍高速になるケースがあると報告されています。

実装者視点で気になった点

この論文は、画像処理モデルを実サービスや端末内処理に持っていくときの現実的な制約をよく扱っています。

研究段階では、PSNRやSSIMを少しでも上げるためにモデルを複雑にしがちです。しかし、端末上で使う場合は、以下のような制約が強くなります。

• NPUが対応している演算子か
• メモリアクセスが重すぎないか
• Full HD以上の入力で安定して動くか
• GPUやCPUへのフォールバックが発生しないか
• 端末ごとのNPU差をどこまで吸収できるか

この論文の方向性は、モデル精度だけでなく「どの演算なら実機で速いか」を設計段階から考える、という点でかなり実務的です。

個人的な所感

画像復元モデルは、論文上の画質指標だけを見ると高性能なモデルが多い一方で、モバイル実装では別の難しさがあります。

特にノイズ除去はカメラアプリ、スキャンアプリ、動画前処理など応用先が広いので、端末内で低遅延に動くことの価値が大きいです。その意味で、この論文は「高精度な画像復元をどう小さくするか」ではなく、「最初からNPUに載る形でどう設計するか」という視点が参考になります。

一方で、結果はMobile AI 2026 Challenge の条件や対象端末に依存します。別のSoC、別のNPUコンパイラ、別の入力解像度でも同じ傾向になるかは、追加検証が必要だと思います。

詳細版

より詳しい解説、図解、関連研究との比較は個人ブログにまとめています。

👉 完全版はこちら：https://kasblo.com/ai-paper/mobile-npu-denoising-knowledge-distillation/