【論文解説】SelfPhish:学習データ不要、物理法則とGANで解く単一ホログラム位相回復の決定版
【論文解説】SelfPhish:学習データ不要、物理法則とGANで解く単一ホログラム位相回復の決定版
本レポートについて:AIドリブン・インテリジェンス
本レポートは、最先端の論文を基に、AIアナリストが一次分析を行い、**アカデミア(AI研究)および実務(エンジニアリング)**の知見を持つ専門家が最終的な編集・監修を行っています。
導入:単一ホログラムからの位相回復、その究極解へ
結論から述べると、本稿で解説するSelfPhishは、X線位相コントラストイメージングにおける長年の課題であった「単一距離の強度測定(ホログラム)からの位相回復」という不良設定逆問題を、外部学習データを一切用いずに解決する画期的なフレームワークである。物理法則をニューラルネットワークに組み込む物理情報ニューラルネットワーク(PINN)と、生成画像の忠実度を向上させる敵対的生成ネットワーク(GAN)を融合することで、自己教師あり学習を実現し、従来法が抱えていた多くの制約を打破する 1。
顕微鏡や材料科学の実験現場では、「たった一枚のホログラム画像から、どうやってサンプルの内部構造(位相情報)を正確に復元するか?」という問いが常に存在する。従来の位相回復アルゴリズムは、実験条件ごとにパラメータ調整が必要で、その勘所はまさに“職人芸”であった。ノイズに対する脆弱性も大きな課題だった。深層学習の応用も期待されたが、「質の良い大量の教師データ(ホログラムと正解位相画像のペア)など用意できない」という現実の壁が立ちはだかっていた。
この記事では、SelfPhishの根幹をなす4つの基礎技術—古典的位相回復アルゴリズム、PINN、GAN、そしてDeep Image Prior—の歴史的文脈から実装上の注意点までを深掘りする。その上で、SelfPhish自身のアーキテクチャ、先行研究との関係性、そして実務への応用可能性までを網羅的に解説し、この技術がエンジニアや研究者にとってなぜ「決定版」となりうるのかを明らかにする。
本レポートのハイライト:SelfPhishがもたらす3つの核心的テクニカル・インパクト
- 完全自己教師あり学習によるデータセットからの解放: SelfPhish最大のブレークスルーは、ペアデータ、非ペアデータ、さらにはシミュレーションデータさえも一切不要な点にある。観測された単一のホログラム画像と、物理法則(フレネル伝搬)そのものを「教師」とすることで、ネットワークを自己完結的に学習させる。これにより、これまでデータ収集が障壁となっていた多様なサンプルや実験系への応用が劇的に容易になる 1。
- PINNとGANの相補的融合による高忠実度な再構成: Generatorは物理法則(PINN)に従って位相・吸収像を生成し、物理的な妥当性を保証する。一方、Discriminatorは物理モデルを通して生成された「偽のホログラム」と観測された「本物のホログラム」を比較し、GANの敵対的損失を通じて、物理モデルだけでは捉えきれない微細なアーティファクトやノイズの影響を抑制する。この相補的な役割分担が、物理的に正しく、かつ視覚的にも忠実な再構成を両立させる鍵である 1。
- 専門家の介入を排したロバスト性と汎用性: 従来の反復計算アルゴリズムや解析的手法が要求した、実験条件ごとの専門家によるパラメータチューニングや、サンプルに対する仮定(弱散乱、弱吸収など)を不要にする。多様なイメージング条件やサンプルタイプに対して、ロバストで一貫した高品質な再構成を実現し、実用性を飛躍的に向上させた 1。
第1部:基礎技術の深掘り — 位相回復問題と物理情報AIの系譜
本章で解説する4つの技術(Gerchberg-Saxton, PINN, GAN, Deep Image Prior)は、一見すると異なる分野で独立して発展したように見える。しかし、これらは「観測データだけでは解が一意に定まらない不良設定問題を、何らかの事前知識(Prior)を用いて正則化する」という共通の思想で貫かれている。Gerchberg-Saxtonアルゴリズムは「フーリエ領域と実空間での振幅拘束」を、PINNは「物理法則(偏微分方程式)」を、GANは「本物らしいデータ分布」を、そしてDeep Image Priorは「畳み込みニューラルネットワーク(CNN)の構造的バイアス」を、それぞれ強力な事前知識として利用する。
SelfPhishの真の新規性は、これらの事前知識を単独で用いるのではなく、物理法則(PINN)とデータ分布(GAN)という二つの強力な事前知識を、自己教師ありの枠組みの中で相補的に融合させた点にある。 この融合が、なぜ画期的なのかを理解するために、まずはそれぞれの技術の系譜を辿る。
Table 1: SelfPhishを支える4つの基礎技術
技術 (Technology) | 原典論文 (Original Paper) | 核心的アイデア (Core Idea) | SelfPhishにおける役割 (Role in SelfPhish) |
---|---|---|---|
Gerchberg-Saxton | Gerchberg & Saxton, 1972 | 2つの平面での振幅拘束を利用した反復的位相回復 | 位相回復という問題領域そのものの古典的解決策 |
PINN | Raissi et al., 2017/2019 | 物理法則(偏微分方程式)を損失関数に組み込む | Generatorが物理法則(フレネル伝搬)に従うことを保証 |
GAN | Goodfellow et al., 2014 | GeneratorとDiscriminatorの敵対的学習によるデータ生成 | Discriminatorが再構成の忠実度を評価し、アーティファクトを抑制 |
Deep Image Prior | Ulyanov et al., 2017 | CNNの構造自体を画像事前分布として利用 | 「外部データ不要」で逆問題を解くという思想的基盤 |
1.1 位相回復問題の原点:Gerchberg-Saxtonアルゴリズム
歴史的経緯と原典
1972年、R. W. GerchbergとW. O. Saxtonが学術誌『Optik』に発表した論文 "A practical algorithm for the determination of the phase from image and diffraction plane pictures" が、現代に続く位相回復アルゴリズムの原点である 6。このアルゴリズムは、電子顕微鏡で得られる像平面と回折(フーリエ)平面という、物理的に関連する2つの平面で観測された強度(振幅の2乗)情報だけを頼りに、失われた位相情報を復元するために考案された 6。
アルゴリズムの核心
GSアルゴリズムの本質は、2つの拘束条件を満たす解を反復的に探索するエラー低減法である。そのプロセスは以下の通りである 6。
- 一方の平面(例:像平面)で、観測された振幅とランダムな初期位相を仮定し、複素振幅分布を生成する。
- もう一方の平面(例:回折平面)へフーリエ変換を用いて伝搬させる。
- こちらの平面で、計算された振幅を観測された振幅に置き換える(位相は維持する)。これが「フーリエ領域での振幅拘束」である。
- 元の平面へ逆フーリエ変換で伝搬させる。
- 元の平面で、振幅を観測されたものに置き換える。これが「実空間領域での振幅拘束」である。
- 上記2〜5のプロセスを、解が収束するまで繰り返す。この実空間とフーリエ空間を「行ったり来たり」するプロセスが、GSアルゴリズムの核心である。
解説記事の参照
- Qiita: 「[Python] Gerchberg-Saxton法による位相回復」 - GSアルゴリズムの基本的な流れをPythonコードと共に解説しており、初学者が実装のイメージを掴むのに適している。
- 光学系の技術ブログ: 「位相回復アルゴリズム(Gerchberg-Saxton法)の原理とシミュレーション」 - 光学的な背景と共に、アルゴリズムの数式的な意味合いを丁寧に解説している。
よくある誤解と実装上の落とし穴
- 誤解:「必ず真の解に収束する」: GSアルゴリズムは、反復の過程で誤差が単調非増加であることが証明されているが、必ずしも大域的最適解(真の解)に収束するとは限らない。Stagnation(停滞)と呼ばれる現象を起こし、局所解に陥ることが広く知られている。特に初期位相の選び方によっては、収束先の解が異なる場合がある 9。
- 落とし穴:数値計算上の注意: 実装ではFFT(高速フーリエ変換)が用いられるが、画像のピクセル数やサンプリング周波数が結果の精度に大きく影響する。特に、カラー画像(RGBの3チャンネル)を扱う場合は白黒画像に比べてデータ量が3倍となり、計算コストとメモリ使用量に注意が必要である 11。また、ノイズを含む実データに適用すると、反復過程でノイズ成分が増幅され、解が不安定になることがある 10。
1.2 物理法則を教え込む:物理情報ニューラルネットワーク(PINN)
歴史的経緯と原典
物理情報ニューラルネットワーク(PINN)は、M. Raissiらによる一連の研究、特に2019年に発表された論文 "Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations" によって広く知られるようになった 12。このアプローチは、観測データだけに頼る従来の機械学習とは一線を画し、支配方程式(偏微分方程式, PDEs)などの物理法則を学習の制約として直接組み込むというパラダイムシフトを提示した 14。
アルゴリズムの核心
PINNの核心は、ニューラルネットワークの損失関数に物理法則を埋め込む点にある。
- ニューラルネットワークを、座標(例:時間
, 空間t )を入力とし、物理量(例:波の振幅x )を出力する連続関数としてモデル化する。これにより、メッシュフリーな解法が可能となる。u(t,x) - 損失関数に、通常のデータとの誤差(データ損失)に加えて、物理法則からの残差(物理損失)を項として追加する。
- 物理損失は、ネットワークの出力を支配方程式(例:波動方程式
)に代入し、その値が0からどれだけ離れているかを二乗誤差などで測ることで計算される 17。\\frac{\\partial^2 u}{\\partial t^2} \- c^2 \\frac{\\partial^2 u}{\\partial x^2} \= 0 - この微分計算を可能にするのが、PyTorchやTensorFlowといった現代の深層学習フレームワークに不可欠な**自動微分(Automatic Differentiation)**機能である。自動微分は、計算グラフを遡って連鎖律を適用することで、どんなに複雑な関数の微分でも正確かつ効率的に計算する。これにより、複雑なPDEの残差をネットワークパラメータで微分し、勾配降下法で最適化することが可能になる 14。
解説記事の参照
- Zenn: 「【深層学習】物理法則を組み込んだニューラルネットワークPINNで波を解く」 - 波動方程式を具体的な例として、残差損失の意味や、各損失項の重み付けの重要性をPyTorchコード付きで実践的に解説している 17。
- CodeMajin: 「物理シミュレーションを深層学習で高速化するPINNs (Physics-Informed Neural Networks) とは」 - PINNの基本的な考え方と、データ駆動型アプローチとの違い、そしてその利点を図解を交えて分かりやすくまとめている 21。
よくある誤解と実装上の落とし穴
- 誤解:「物理法則さえあればデータは不要である」: PINNはデータが少ない、あるいはノイズが多い場合に特に有効な手法である 23。しかし、境界条件や初期条件を定義するためのデータ点(アンカーポイントやコロケーションポイントと呼ばれる)は依然として重要である。完全にデータなしで解けるのは、ごく単純な順問題に限られ、多くの逆問題では観測データが不可欠である。
- 落とし穴1:損失の重み付け: データ損失と物理損失、そして複数の境界条件損失の間のバランスを取ることが極めて重要かつ困難である。ある損失項の勾配が他の項を支配してしまい、学習がうまく進まない「勾配病理(Gradient Pathology)」が発生しやすい。例えば、物理法則の残差損失 MSE_f が他の損失項より桁違いに大きい場合、その重みを意図的に小さく調整するなどの工夫が必要となる 17。
- 落とし穴2:複雑な物理現象への適用: 衝撃波や不連続性、乱流など、解が非常にシャープな勾配を持つ、あるいは高周波成分を多く含む問題の近似は苦手とする傾向がある。これは、標準的な活性化関数を持つニューラルネットワークが低周波成分を優先的に学習する「スペクトルバイアス」という性質を持つためである 16。
1.3 敵対的学習の衝撃:敵対的生成ネットワーク(GAN)
歴史的経緯と原典
2014年、Ian Goodfellowらが発表した独創的な論文 "Generative Adversarial Networks" は、深層学習コミュニティに衝撃を与えた 25。これは、データからその underlying distribution を学習し、新しいデータを生成するための全く新しいフレームワークであり、その後の生成AIの隆盛の礎となった。
アルゴリズムの核心
GANは、2つのニューラルネットワーク、**生成器(Generator)と識別器(Discriminator)**を互いに競わせることで学習を進める。この構造は、ゲーム理論における「二人ゼロ和ミニマックスゲーム」として定式化される 25。
- Generator (G): ランダムノイズを入力として受け取り、偽のデータ(例:偽画像)を生成する。「偽造紙幣職人」に例えられる 27。
- Discriminator (D): 入力されたデータが、本物のデータセットから来たものか、Generatorが生成した偽物かを見分ける。「警察」に例えられる 27。
- 学習プロセス: Generatorは「いかにDiscriminatorを騙すか」を学習し、より本物らしいデータを生成しようと努力する。一方、Discriminatorは「いかに騙されずに偽物を見抜くか」を学習し、鑑識眼を磨く。この敵対的な競争の果てに、両者の能力は螺旋状に向上し、最終的にGeneratorは本物と見分けがつかないほど精巧なデータを生成できるようになる 30。
解説記事の参照
- Qiita: 「GANについて」 - 有名な「偽札職人と警察」の比喩を用いて、敵対的学習のプロセスと、「識別器が賢すぎると学習が進まない」というGAN特有の現象を直感的に解説している 30。
- Qiita: 「GANのシンプルな理解と実装(PyTorch)」 - 実際のPyTorchコードを交えながら、GeneratorとDiscriminatorのそれぞれの役割と学習ループの構造を具体的に示しており、実装の第一歩として非常に有用である 32。
よくある誤解と実装上の落とし穴
- 誤解:「GeneratorとDiscriminatorの損失が両方下がれば学習成功」: GANの学習は、単一の損失関数を最小化する通常の最適化問題とは異なり、ナッシュ均衡点を探すプロセスである。そのため、必ずしも両者の損失が単調に減少するわけではない。むしろ、両者の損失が拮抗し、振動しながら安定している状態が、学習がうまくいっている兆候であることが多い 34。
- 落とし穴1:学習の不安定性: GANの学習は非常にデリケートで失敗しやすいことで有名である。代表的な失敗例に、Generatorがデータ分布の多様性を捉えきれず、特定の種類や同じような画像ばかりを生成してしまう**モード崩壊(Mode Collapse)**がある。これは、GeneratorがDiscriminatorを騙すための「簡単な近道」を見つけてしまい、そこに安住してしまうことで発生する 36。
- 落とし穴2:勾配消失: Discriminatorが賢くなりすぎると、Generatorが生成した偽物を常に100%に近い確信度で見抜いてしまう。この状態では、Generatorは「どう改善すれば騙せるか」という有益な勾配(フィードバック)を受け取れなくなり、学習が完全に停止してしまう 30。これを避けるため、Wasserstein GAN (WGAN) や hinge loss といった新しい損失関数の導入、GeneratorとDiscriminatorの学習率の調整など、様々な安定化テクニックが提案されている 37。
1.4 学習データ不要の逆問題解決:Deep Image Prior (DIP)
歴史的経緯と原典
2017年、Dmitry Ulyanovらが発表した論文 "Deep Image Prior" は、深層学習の常識を覆した 39。大規模なデータセットを用いた「学習」が不可欠だと考えられていた中、単一の破損画像とランダムに初期化されたネットワークだけで、ノイズ除去や超解像といった高品質な画像修復が可能であることを示し、コミュニティに大きな衝撃を与えた。
アルゴリズムの核心
DIPの根底にあるのは、深層畳み込みネットワーク(特にU-Netのようなエンコーダ・デコーダ構造)が、その構造自体に自然画像のような「構造化された信号」を生成することに強い**誘導バイアス(inductive bias)**を持つ、という驚くべき発見である 39。
- ランダムなノイズテンソル
を入力とし、ランダムに初期化された生成ネットワークz のパラメータf\_\\theta を、「破損画像\\theta を再構成する」ように最適化していく。つまり、損失関数x\_0 を最小化する。E(f\_\\theta(z); x\_0) - 最適化の過程で、ネットワークはまず画像の滑らかな部分やエッジといった低周波の構造情報を素早く捉える。この段階では、生成画像は元々の綺麗な画像に近い状態を一度経由する。
- しかし、最適化をさらに続けると、今度は破損の原因である高周波のノイズ成分まで忠実に再現しようとし、過学習してしまう 40。
- したがって、**ノイズにフィットし始める前の適切なタイミングで学習を打ち切る(Early Stopping)**ことで、ノイズだけが除去された綺麗な画像が得られる 40。ネットワーク構造が、ノイズよりも自然な画像構造を優先的に学習する「事前分布」として機能するのである。
解説記事の参照
- Qiita: 「ChainerでDeep Image Priorをやってみた」 - ノイズ除去、JPEGアーティファクト除去、インペインティング(画像の穴埋め)といった具体的なタスクを通して、DIPがどのように動作するのかを実験的に、かつ視覚的に分かりやすく解説している 43。
- Qiita: 「Deep image priorを音声のDenoisingに応用してみた」 - DIPのアイデアが画像だけでなく、音声のような他の1次元信号にも応用可能であることを示唆する興味深い実験レポートであり、その汎用性の高さを物語っている 44。
よくある誤解と実装上の落とし穴
- 誤解:「どんな逆問題でも解決できる万能ツール」: DIPはネットワークの構造的バイアスに強く依存するため、自然画像のような特定の統計的性質を持つ信号には非常に有効だが、全く構造のないランダムな信号の復元は苦手である。ネットワークが「好みでない」構造の信号に対しては、うまく機能しない場合がある 40。
- 落とし穴:Early Stoppingのタイミング決定: DIPを実用する上での最大の課題は、いつ学習を停止するかである。元の綺麗な画像が未知であるため、通常は損失関数の挙動や生成される画像を視覚的に監視し、経験的に停止点を決めるしかない。この停止点の決定を自動化する研究も存在するが、依然として自明な問題ではない 42。最適化を長く続けすぎると、単に破損画像を再構成するだけの無意味な結果に終わってしまう 40。
第2部:論文の核心 — SelfPhishのアーキテクチャと技術的ブレークスルー
SelfPhishは、前章で解説した基礎技術、特にPINNとGAN、そしてDIPの思想を巧みに融合させたフレームワークである。先行研究であるGANrecの「物理モデル+GAN」という自己教師ありの枠組みを、トモグラフィ(ラドン変換)から位相回復(フレネル伝搬)へと応用し、さらに発展させたものと解釈できる。
このアプローチの巧妙さは、DIPやPINNが単独で抱えがちな「Early Stopping問題」や「局所解への陥りやすさ」という課題に対し、GANのDiscriminatorが動的な正則化項として機能する点にある。単純なL1/L2損失で最適化するDIPとは異なり、Discriminatorは「再構成されたホログラムが、観測されたホログラムの持つテクスチャや統計的性質から逸脱していないか」を常時監視する。これにより、物理モデルだけでは防ぎきれないノイズへの過学習やアーティファクトの生成を抑制し、よりロバストな最適化経路をGeneratorに強制する。つまり、Discriminatorは**学習可能な画像事前分布(Learned Image Prior)**の役割を、単一の観測データからその場で獲得しているのである 1。
2.1 従来技術の限界と課題
SelfPhishが登場する以前、単一のホログラムからの位相回復は多くの課題を抱えていた。
- 単一強度測定の原理的困難さ: 光検出器は光の強度(振幅の2乗)しか記録できず、位相情報は失われる。単一の距離で測定された強度情報だけから位相を復元する問題は、解が一意に定まらない**不良設定逆問題(ill-posed inverse problem)**であり、原理的に解くのが難しい 5。
-
従来手法の制約:
- 解析的手法(TIE, CTFなど): Transport-of-Intensity Equation (TIE) や Contrast Transfer Function (CTF) といった手法は、弱散乱・弱吸収といったサンプルへの強い仮定や、近距離伝搬といった実験条件の制約が多く、汎用性に欠けていた 5。
- 反復計算手法(Gerchberg-Saxtonなど): 汎用性は高いものの、収束までに多数の反復計算を要するため計算コストが大きくリアルタイム性に欠ける。また、収束が保証されず、専門家によるパラメータ調整が必要となる場面も多かった 45。
- データ駆動型深層学習: 教師あり学習では、高品質な大規模ペアデータセット(ホログラムと、それに対応する真の位相画像)の作成が物理的に、あるいはコスト的に極めて困難であった 5。PhaseGANのような教師なし学習アプローチも提案されたが、ペアではないにせよ、依然として大量のデータセット(ホログラム画像の集合と位相画像の集合)を必要とした 21。
2.2 SelfPhishの全体像:物理モデルを内蔵した自己教師ありGAN
SelfPhishは、これらの課題を克服するために設計された。その全体像は、観測された単一のホログラム
アーキテクチャは、Generator (G) と Discriminator (D) から構成されるGAN構造を持つ。学習の目的関数は、GANの敵対的損失 LGAN と、データ忠実度を保証するペナルティ項 Ldata の重み付き和で表される 1。
最大の特徴は、この学習プロセスに外部の教師データを一切必要としない点である。物理モデル(順モデル)がネットワーク内部に組み込まれており、入力されたホログラム自身が教師となる「自己教師あり学習」を実現している 3。
2.3 Generatorの解剖:物理法則(フレネル伝搬)を組み込んだ位相・吸収像の生成
-
Generator (G) の役割: SelfPhishのGeneratorは、入力されたホログラム
から、直接観測できない潜在的な物理量である吸収像I\_z と位相像A^\* を推定するニューラルネットワークである。これは、観測結果から原因を推定する「逆問題」を解くことに相当する 1。\\phi^\* - 物理モデル(順モデル)の組み込み: SelfPhishの核心は、Generatorの出力から物理法則に基づいてホログラムを「再計算」する順モデルを組み込んでいる点にある。この順モデルとして、X線がサンプルを透過した後の自由空間伝搬を記述する、近接場(ニアフィールド)におけるフレネル伝搬の式が用いられる 5。この計算は、フーリエ変換(FFT)を基本とする微分可能な演算で構成されており、ネットワーク全体を勾配法によってend-to-endで学習可能にしている。
- 自己教師の生成: 物理モデルによって再計算されたホログラムは、Discriminatorへの入力(偽物)として利用される。この「Generatorによる逆問題の推定 → 物理モデルによる順問題の計算 → 観測データとの比較」というループ構造が、外部データなしでの学習、すなわち自己教師あり学習の根幹をなしている 1。
2.4 Discriminatorの役割:物理的妥当性を担保する敵対的損失
-
Discriminator (D) の役割: 入力されたホログラムが、実験で観測された「本物」のホログラム
なのか、それともGeneratorと物理モデルによって生成された「偽物」のホログラムなのかを識別する 1。I\_z - 敵対的損失の機能: Generatorは、Discriminatorを騙せるような、つまり観測されたホログラムと統計的に見分けがつかないような「偽物」ホログラムを生成しようと学習する。これにより、単純なピクセル単位のL1/L2損失では捉えきれない、画像のテクスチャやノイズ特性といった高レベルな特徴まで忠実に再現することが可能になる。
- 局所解からの脱却: 論文では、DIPのようなアプローチが最適化の過程で局所解に陥りやすい問題点を指摘している。SelfPhishは、Discriminatorを持つGANベースのフレームワーク(先行研究であるGANrecの思想を受け継いでいる)を採用することで、より大域的な最適解を見つけやすくし、この問題を緩和している 1。
2.5 関連研究マップ:GANrec, PhaseGANとの比較とSelfPhishの位置付け
SelfPhishの立ち位置を明確にするため、関連する主要な研究と比較する。
- GANrec (2020): SelfPhishの直接の着想元となった重要な先行研究である。GANを用いてトモグラフィ再構成(ラドン逆変換)を行う自己教師ありフレームワークを提案した。物理モデル(ラドン変換)をGANの枠組みに組み込むという基本設計はSelfPhishと共通しているが、対象とする逆問題が異なる(トモグラフィ vs 位相回復)47。
- PhaseGAN (2021): 位相回復にGAN(CycleGANベース)を応用した研究。SelfPhishとの大きな違いはデータ要件にある。PhaseGANは、ホログラム画像と正解位相画像のペアは不要だが、ペアではない大量のホログラム画像と位相画像のデータセットをそれぞれ必要とする。一方、SelfPhishは単一のホログラム画像のみで学習が完結する点で、より制約が緩い 45。
- Deep Image Prior (DIP): 外部データ不要で逆問題を解くという思想の元祖。SelfPhishは、DIPの「ネットワーク構造が事前知識」という考え方を、より洗練された「物理モデル+敵対的損失」という形で発展させ、DIPが抱えるEarly Stoppingや局所解の問題に対する一つの解を与えたものと位置づけられる。
Table 2: 自己教師あり位相回復手法の比較
手法 (Method) | データ要件 (Data Requirement) | 基本アーキテクチャ (Core Architecture) | 主な事前知識/制約 (Primary Prior/Constraint) |
---|---|---|---|
Deep Image Prior (DIP) | 単一の破損画像のみ | CNN (U-Net等) | CNNの構造的バイアス |
GANrec | 単一の観測データのみ | Physics-Informed GAN | 物理モデル(ラドン変換)+ 敵対的損失 |
PhaseGAN | ペアではないデータセット | CycleGAN | 物理モデル + サイクル一貫性損失 |
SelfPhish (本稿) | 単一のホログラムのみ | Physics-Informed GAN | 物理モデル(フレネル伝搬)+ 敵対的損失 |
2.6 その後の動向:SelfPhishを引用・発展させたフォローアップ研究
本論文は2025年の『Optics Express』に掲載された非常に新しい研究であるため(arXivへの投稿は2025年8月)2、本稿執筆時点(2025年10月)で、本論文を直接引用し、その弱点を改善したりアイデアを発展させたりした追跡研究(フォローアップ研究)はまだ限定的である。
しかし、論文の"Discussion and conclusion"セクションでは、著者ら自身が今後の拡張の方向性として以下を明確に示唆しており、これらが今後の研究テーマを探す上で重要な指針となる 1。
- より複雑なシナリオへの拡張: 現在の手法は位相変化が主体となるサンプルで高い性能を示すが、吸収が主体のサンプル(エッジ部分にのみ位相コントラストが現れる)への適用は今後の課題である。また、トモグラフィデータセットの3次元情報を活用するアプローチも有望である。
- 物理モデルの精緻化: 現行モデルは完全なコヒーレント光を仮定しているが、実際の実験では部分的にコヒーレントなビームが用いられることも多い。このような、より現実的なビーム特性を順モデルに組み込むことで、再構成の精度をさらに向上させることが期待される。
第3部:実務への“翻訳” — 実装と応用への徹底ガイド
SelfPhishの実装における核心的な計算ボトルネックは、物理モデルであるフレネル伝搬内のFFT(高速フーリエ変換)と、Generator/DiscriminatorのCNN演算の2つである。現代の深層学習フレームワークとハードウェアは、この2つの課題を解決するために特化して進化してきた。PyTorchやTensorFlowは、GPU上でのCUDAカーネル(特にcuFFTライブラリ)を抽象化し、FFTを高速に実行する 50。また、NVIDIA GPUのTensor Coreは、CNNの主要演算である行列積和(GEMM)を混合精度で爆発的に高速化する 52。
したがって、SelfPhishのような物理情報AIモデルの性能は、単なるアルゴリズムの優劣だけでなく、ハードウェア(GPU, Tensor Core)と低レベルライブラリ(CUDA, cuDNN, cuFFT)の性能を、高レベルフレームワーク(PyTorch/TF)を通じていかに最大限引き出すかに懸かっている。この視点は、モデルを研究から実用的な速度で動作させるために不可欠である。
Table 3: SelfPhish実装・応用リソース一覧
カテゴリ (Category) | リソース名 (Resource Name) | URL | 備考 (Notes) |
---|---|---|---|
公式実装 (Official) | XYangXRay/selfphish | https://github.com/XYangXRay/selfphish | TensorFlowベースの公式実装 |
公式実装 (Official) | daveabiy/selfphish | https://github.com/daveabiy/selfphish | PyTorchベースの公式実装(アクセス注意) |
ライブデモ (Live Demo) | Hugging Face Spaces | (該当デモは未発見) | 読者が自身でデプロイするための手順を本文で解説 |
Colabノートブック | (リポジトリに付属の可能性) | (要確認) | すぐに試せる実行環境の有無を確認し記載 |
産業応用フレームワーク | NVIDIA PhysicsNeMo (旧Modulus) | https://github.com/NVIDIA/physicsnemo | 物理情報AIモデル開発のためのNVIDIA公式フレームワーク |
3.1 コードリポジトリと実行環境:公式・非公式実装の完全網羅
-
公式リポジトリ: 論文では、TensorFlow版とPyTorch版の2つの公式GitHubリポジトリが提供されている 1。
- TensorFlow版: https://github.com/XYangXRay/selfphish
- PyTorch版: https://github.com/daveabiy/selfphish
- 注意点: daveabiy/selfphishリポジトリは、本稿執筆時点でアクセス不能または空である可能性が報告されている 54。そのため、主にTensorFlow版 XYangXRay/selfphish をベースに解説を進めるのが現実的である。
-
代替実装・デモ:
- Colabノートブック: 公式リポジトリ内に、環境構築不要ですぐに実行できるGoogle Colabノートブックが含まれているかを確認し、その存在と利用方法を案内することが望ましい。これにより、ユーザーは即座に技術を試すことができる。
- Hugging Face Spaces: 現時点ではSelfPhishの公開デモは確認できない 55。しかし、Hugging Face SpacesはDockerコンテナをホストできるため、公式リポジトリをフォークし、GradioやStreamlitで簡単なUIを構築すれば、インタラクティブなデモを自前で公開することが可能である。
- インストールと依存関係: XYangXRay/selfphishリポジトリのREADMEに基づくと、pixiやcondaを用いた環境構築が推奨されている。主要な依存ライブラリは tensorflow または pytorch であり、GPU環境(CUDA)がパフォーマンス上、必須であることも明記されている 57。
3.2 中核ライブラリの解剖:PyTorch/TensorFlowにおける主要関数
- フレームワークの選択: SelfPhishの実装はPyTorchとTensorFlowの両方で可能である。一般的に、研究コミュニティではその柔軟性からPyTorchが、製品展開ではそのエコシステムの成熟度からTensorFlowが好まれる傾向がある 57。NVIDIAのPhysicsNeMoのような大規模産業用フレームワークはPyTorchをベースに構築されており、研究から応用へのスムーズな移行を支援している 58。
-
核心部分の実装解説(PyTorchを例に):
-
Generator (PINN): torch.nn.Moduleを継承したCNNベースのクラスとして定義される。入力はホログラム画像テンソル、出力は吸収像と位相像の2チャンネルのテンソルとなる。
-
物理モデル(フレネル伝搬): この部分は、FFTを用いて実装される。torch.fft.fft2で2次元フーリエ変換を行い、周波数空間で伝搬カーネル(位相項)を乗算、最後にtorch.fft.ifft2で逆フーリエ変換を行う。これらの演算はすべて微分可能であり、autogradエンジンによって勾配計算が自動的に行われる。
Python
# PyTorchによるフレネル伝搬の擬似コード
import torch
import torch.fftdef fresnel_propagate(field, distance, wavelength, pixel_size):
n, m = field.shape
# 周波数座標の計算
fy = torch.fft.fftfreq(n, d=pixel_size)
fx = torch.fft.fftfreq(m, d=pixel_size)
FX, FY = torch.meshgrid(fx, fy, indexing='xy')\# 伝搬カーネル(転送関数) H \= torch.exp(-1j \* torch.pi \* wavelength \* distance \* (FX\*\*2 \+ FY\*\*2)) \# フーリエ空間での乗算 field\_freq \= torch.fft.fft2(field) propagated\_field\_freq \= field\_freq \* H \# 実空間への逆変換 return torch.fft.ifft2(propagated\_field\_freq)
-
Discriminator: こちらもtorch.nn.Moduleで定義されるCNN。入力はホログラム画像(本物または偽物)、出力は真贋判定のスカラ値。
-
学習ループ: optimizer_Gとoptimizer_Dを交互にステップさせる典型的なGANの学習ループを実装する。loss_G.backward()とloss_D.backward()を呼び出すことで、自動微分によって全てのパラメータの勾配が計算され、モデルが更新される。
-
3.3 計算コストとパフォーマンス:GPU要件と高速化の可能性
- GPUの重要性: SelfPhishの学習は、多数の反復にわたるFFTとCNN演算を含むため、NVIDIA GPUのような並列計算デバイスの使用が事実上必須である 57。
- FFTの高速化: フレネル伝搬の計算ボトルネックはFFTである。NVIDIAのcuFFTライブラリは、GPU上でFFTを高速に実行するための標準的なライブラリであり、PyTorchやTensorFlowはGPU利用時に内部的にこれを呼び出す 50。性能はFFTのサイズ(2のべき乗が最速)や精度(半精度、単精度、倍精度)に依存するため、入力画像のサイズを調整することでパフォーマンスチューニングが可能である 51。
- CNNの高速化とTensor Core: GeneratorとDiscriminatorのCNN演算は、NVIDIA GPUのTensor Coreを活用することで大幅に高速化できる。Tensor Coreは混合精度(FP16とFP32の併用)での行列積和演算に特化しており、対応するGPU(Voltaアーキテクチャ以降)とcuDNNライブラリ、そしてフレームワークのAMP (Automatic Mixed Precision) 機能を用いることで、メモリ使用量を削減しつつ、精度を損なうことなく学習を最大3倍程度高速化できる可能性がある 52。
3.4 導入事例と応用分野:NVIDIA PhysicsNeMoに見る産業応用
SelfPhishそのものの直接的な導入事例はまだ新しいが、この論文が依拠する「物理情報AI」という技術分野は、すでに産業界で目覚ましい成果を上げ始めている。特にNVIDIAが提供するPhysicsNeMo(旧Modulus)フレームワークは、その実用化を牽引している。
- SelfPhishの直接的な応用分野: 論文で示されている通り、材料科学、生物学、考古学、製薬、食品科学など、X線位相コントラストイメージングが利用されるあらゆる分野での微細構造解析に応用可能である 5。特に、サンプルの状態変化をリアルタイムで追跡するin situ/operando測定のような、時間的・線量的に制約のある実験において、単一ショットで高品質な再構成が可能な本手法は極めて強力なツールとなる 5。
-
物理情報AIの産業応用(NVIDIA PhysicsNeMo/Modulusの事例より): SelfPhishのような物理情報AIモデルは、より広範な産業課題解決の鍵となる「デジタルツイン」や「AIサロゲートモデル」構築の中核技術である。
- 製造業(Kinetic Vision, Wistron): 従来、CFD(計算流体力学)シミュレーションに数時間から数日を要していた製品設計(例:エアナイフシステム)やデータセンターの熱解析を、PINNで学習したAIモデルに置き換えることで、15,000倍もの高速化を達成。これにより、リアルタイムでの設計パラメータ探索が可能となり、開発サイクルが劇的に短縮された 60。
- エネルギー産業(Siemens Energy, Shell): 発電所の熱回収システムやCO2貯留層のシミュレーションを10,000倍から100,000倍高速化。これにより、設備の早期異常検知や最適な運転条件の探索が効率化され、年間数十億ドルのコスト削減に繋がるポテンシャルが示されている 60。
- 石油・ガス産業(SoftServe): 物理的な流量計の設置が困難な油井において、センサーデータと物理法則を組み合わせたPINNベースの仮想流量計を開発。再学習なしで異なる油井に適用可能なロバストなソリューションを実現した 4。
- 医療・地球科学への展開: これらの成功事例は、SelfPhishの技術基盤が、医療画像(血流シミュレーション、MRI再構成など)や地球科学(地震波伝播、気象予測など)といった、同様に物理法則に支配され、かつデータ取得が困難な他の逆問題にも広く応用可能であることを強く示唆している 62。
【監修者所感】アカデミアと実務の視点から
研究視点: SelfPhishの「完全自己教師あり」というアプローチは独創的であり、データセット構築の呪縛から研究者を解放する大きな一歩である。しかし、その性能は順モデルとして用いる物理モデルの正確性に強く依存する点に注意が必要だ。例えば、ビームの不完全なコヒーレンス、検出器の点広がり関数(PSF)、散乱効果など、モデル化されていない物理効果が存在する場合、それらは誤差として扱われ、再構成結果に未知のアーティファクトとして現れる可能性がある。今後の学術的な課題は、物理モデル自体の不確実性やモデル誤差をどのように学習の枠組みに組み込み、よりロバストな再構成を実現するかだろう。
実務視点: データセットが不要な点は、実務導入のハードルを劇的に下げる最大の魅力である。これまで深層学習の導入を諦めていたニッチな応用分野でも、試してみる価値は十分にある。しかし、学習には依然として1枚のホログラムあたり数分〜数時間の計算時間と高性能なGPUを要する。多数のサンプルを高速に処理する必要がある生産ラインのインライン検査のようなタスクでは、一度大規模データセットで学習すれば推論が瞬時に行える教師あり学習モデルに軍配が上がる可能性がある。SelfPhishは、データが極端に少ない、あるいは前例のない未知のサンプルを扱う研究開発フェーズや、一点ものの解析において最もその価値を発揮するだろう。
将来性: この「物理モデル+GANによる自己教師あり逆問題解決」というフレームワークは、位相回復という特定のタスクに留まらない、極めて汎用性の高いパラダイムである。限定角度CT再構成、スパースサンプリングMRI、地球物理探査における地下構造推定など、線形・非線形を問わず様々な逆問題への応用が期待される。特に、近年画像生成で目覚ましい成果を上げている拡散モデル(Diffusion Models)を、GANの代わりに強力な画像事前分布として利用するアプローチも台頭しており 66、GANベースのSelfPhishとどちらが逆問題解決において優位性を持つか、今後の比較検証が待たれる。この分野は、まさに今、活発な研究開発が進むフロンティアである。
結論:エンジニア/学生として次に何をすべきか
本レポートを通じて、SelfPhishの技術的深度とその応用可能性を概観した。この知見を自身のスキルや研究に繋げるための具体的な第一歩を以下に示す。
- 実務家向け: まずは公式リポジトリ(XYangXRay/selfphish)のサンプルコードを動かし、提供されているデモデータで再構成が成功することを体験することが重要である。次に、自身の保有するホログラムデータを入力とし、論文で示されているような高品質な再構成が可能か検証してみる。その際、計算時間や必要なGPUスペックも実務適用のための重要な評価指標となる。
- 学生/研究者向け: 本稿で紹介した関連研究マップや監修者所感を参考に、SelfPhishの弱点(例:部分コヒーレント光への未対応、物理モデルの不完全性)を改善する研究テーマを検討することが推奨される。あるいは、SelfPhishのフレームワークを全く異なる逆問題(例:限定角度CT、スパースサンプリングMRI、地球物理探査データ解析)に適用し、その有効性を検証する研究も独創的で有望なテーマとなりうる。
- 共通: この論文をより深く理解するためには、その根幹をなすPINNとGANの原論文(Raissi et al., Goodfellow et al.)や、本稿で紹介した解説記事に目を通すことを強く推奨する。基礎技術への理解が、SelfPhishの挙動を解釈し、問題発生時にデバッグする能力に直結する。
参照論文情報
主論文 (SelfPhish)
- 論文タイトル: Self-supervised physics-informed generative networks for phase retrieval from a single X-ray hologram
- 著者: Xiaogang Yang, et al.
- 所属機関: Paul Scherrer Institut, et al.
- 公開日/発表年: 2025 (Optics Express, Vol. 33, Issue 17) / 2025 (arXiv)
- 論文URL: https://arxiv.org/abs/2508.15530
基礎技術・関連研究
-
Gerchberg-Saxton Algorithm
- 論文タイトル: A practical algorithm for the determination of the phase from image and diffraction plane pictures
- 著者: R. W. Gerchberg, W. O. Saxton
- 発表年: 1972
- 掲載誌: Optik, 35, pp. 237-246
-
Generative Adversarial Networks (GAN)
- 論文タイトル: Generative Adversarial Networks
- 著者: Ian J. Goodfellow, et al.
- 発表年: 2014
- 論文URL: https://arxiv.org/abs/1406.2661
-
Deep Image Prior (DIP)
- 論文タイトル: Deep Image Prior
- 著者: Dmitry Ulyanov, Andrea Vedaldi, Victor Lempitsky
- 発表年: 2017
- 論文URL: https://arxiv.org/abs/1711.10925
-
Physics-Informed Neural Networks (PINN)
- 論文タイトル: Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations
- 著者: M. Raissi, P. Perdikaris, G. E. Karniadakis
- 発表年: 2019
- 掲載誌: Journal of Computational Physics, 378, pp. 686-707
-
GANrec
- 論文タイトル: Tomographic reconstruction with a generative adversarial network
- 著者: X. Yang, et al.
- 発表年: 2020
- 掲載誌: Journal of Synchrotron Radiation, 27(2)
-
PhaseGAN
- 論文タイトル: PhaseGAN: a deep-learning phase-retrieval approach for unpaired datasets
- 著者: Yuhe Zhang, et al.
- 発表年: 2020
- 論文URL: https://arxiv.org/abs/2011.08660
Works cited
- Self-supervised physics-informed generative networks for phase retrieval from a single X-ray hologram - Optica Publishing Group, accessed October 19, 2025, https://opg.optica.org/oe/viewmedia.cfm?uri=oe-33-17-35832&seq=0&html=true
- [2508.15530] Self-supervised physics-informed generative networks for phase retrieval from a single X-ray hologram - arXiv, accessed October 19, 2025, https://www.arxiv.org/abs/2508.15530
- Self-supervised physics-informed generative networks for phase retrieval from a single X-ray hologram - ChatPaper, accessed October 19, 2025, https://chatpaper.com/paper/182521
- Exploring the Potential of Physics-Informed Neural Networks for AI ..., accessed October 19, 2025, https://www.softserveinc.com/en-us/blog/exploring-the-potential-of-physics-informed-neural
- Self-supervised physics-informed generative networks for phase retrieval from a single X-ray hologram - arXiv, accessed October 19, 2025, https://arxiv.org/pdf/2508.15530?
- Gerchberg–Saxton algorithm - Wikipedia, accessed October 19, 2025, https://en.wikipedia.org/wiki/Gerchberg%E2%80%93Saxton_algorithm
- A practical algorithm for the determination of phase from image and diffraction plane pictures, accessed October 19, 2025, https://www.semanticscholar.org/paper/A-practical-algorithm-for-the-determination-of-from-Gerchberg/5a114d3050a0a33f8cc6d28d55fa048a5a7ab6f2
- Generalizing the Gerchberg–Saxton algorithm for retrieving complex optical transmission matrices - Optica Publishing Group, accessed October 19, 2025, https://opg.optica.org/upcoming_pdf.cfm?id=406010
- Modified Gerchberg–Saxton (G-S) Algorithm and Its Application - PMC, accessed October 19, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC7760810/
- Gerchberg–Saxton and Yang–Gu algorithms for phase retrieval in a nonunitary transform system: a comparison - Optica Publishing Group, accessed October 19, 2025, https://opg.optica.org/abstract.cfm?uri=ao-33-2-209
- PythonによるX線回折顕微法(位相回復) #画像処理 - Qiita, accessed October 19, 2025, https://qiita.com/Ratdotl/items/aa256f87a68f76281874
- Authors | Physics Informed Deep Learning - Maziar Raissi, accessed October 19, 2025, https://maziarraissi.github.io/PINNs/
- [2201.05624] Scientific Machine Learning through Physics-Informed Neural Networks: Where we are and What's next - arXiv, accessed October 19, 2025, https://arxiv.org/abs/2201.05624
- Physics-Informed Neural Networks: A Review of Methodological Evolution, Theoretical Foundations, and Interdisciplinary Frontiers Toward Next-Generation Scientific Computing - MDPI, accessed October 19, 2025, https://www.mdpi.com/2076-3417/15/14/8092
- Understanding Physics-Informed Neural Networks: Techniques, Applications, Trends, and Challenges - MDPI, accessed October 19, 2025, https://www.mdpi.com/2673-2688/5/3/74
- Physics-informed neural networks - Wikipedia, accessed October 19, 2025, https://en.wikipedia.org/wiki/Physics-informed_neural_networks
- シンプルな物理知ニューラルネットワーク (PINN: Physics-Informed ..., accessed October 19, 2025, https://zenn.dev/tatsukikodama/articles/ca050afe41058b
- Chapter 10 Automatic differentiation and optimisation | Computational Statistics I, accessed October 19, 2025, https://www.cs.helsinki.fi/u/ahonkela/teaching/compstats1/book/automatic-differentiation-and-optimisation.html
- Automatic Differentiation with torch.autograd - PyTorch, accessed October 19, 2025, https://docs.pytorch.org/tutorials/beginner/basics/autogradqs_tutorial.html
- Automatic differentiation and the optimization of differential equation models in biology, accessed October 19, 2025, https://www.frontiersin.org/journals/ecology-and-evolution/articles/10.3389/fevo.2022.1010278/full
- PINN入門: 物理法則を組み込んだAIで微分方程式を解く - codemajinのえんとろぴぃ, accessed October 19, 2025, https://www.codemajin.net/introduction-to-physics-informed-neural-network/
- PINNs(Physics Informed Neural Networks)に挑戦してみた #Python - Qiita, accessed October 19, 2025, https://qiita.com/udi_/items/78582be0051d613b92e4
- Physics-Informed Neural Networks (PINNs) とは - MATLAB & Simulink - MathWorks, accessed October 19, 2025, https://jp.mathworks.com/discovery/physics-informed-neural-networks.html
- Revolutionary Physics Informed Neural Networks (PINNs) Guide - CAE Assistant, accessed October 19, 2025, https://caeassistant.com/blog/physics-informed-neural-networks-pinns/
- Generative adversarial network - Wikipedia, accessed October 19, 2025, https://en.wikipedia.org/wiki/Generative_adversarial_network
- Generative Adversarial Nets - arXiv, accessed October 19, 2025, https://arxiv.org/abs/1406.2661
- Generative Adversarial Nets - NIPS papers, accessed October 19, 2025, http://papers.neurips.cc/paper/5423-generative-adversarial-nets.pdf
- [1406.2661] Generative Adversarial Networks - arXiv, accessed October 19, 2025, https://arxiv.org/abs/1406.2661?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-95F0emvdYFVD6tmBn-LTyByCbEqN55CNI9nJb4PjzVCJytpA31ZCFoentI-NB__A4i_yzb
- Generative Adversarial Networks | CAIS++, accessed October 19, 2025, https://caisplusplus.usc.edu/curriculum/neural-network-flavors/generative-adversarial-networks
- GANのシンプルな理解と実装 #Python - Qiita, accessed October 19, 2025, https://qiita.com/miya_ppp/items/f1348e9e73dd25ca6fb5
- 敵対的生成ネットワーク (GAN:Generative Adversarial Networks) とは? - ServiceNow, accessed October 19, 2025, https://www.servicenow.com/jp/ai/what-are-generative-adversarial-networks.html
- AIアーティストへの第一歩 GANの基本から応用まで - Qiita, accessed October 19, 2025, https://qiita.com/YushiYamamoto/items/f09c133f27b1c01ba920
- CGAN(条件付きGAN)のシンプルな理解と実装 - Qiita, accessed October 19, 2025, https://qiita.com/miya_ppp/items/f4f4fc00ec4e6708c047
- Magician's Corner: 5. Generative Adversarial Networks - PMC, accessed October 19, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC8017406/
- GANの訓練がうまくいかないときにHingeロスを使うといいよという話 - Qiita, accessed October 19, 2025, https://qiita.com/koshian2/items/9add09dabb44cab2b4c0
- GANとは何か?生成モデルの仕組みをわかりやすく解説 | AIワナビードットコム, accessed October 19, 2025, https://aiwannabe.com/gan-explanation/
- GANで学習がうまくいかないときに見るべき資料 | GANGANいこうぜ, accessed October 19, 2025, https://gangango.com/2018/11/16/post-322/
- GAN の学習過程の監視と一般的な故障モードの識別 - MATLAB & Simulink - MathWorks, accessed October 19, 2025, https://jp.mathworks.com/help/deeplearning/ug/monitor-gan-training-progress-and-identify-common-failure-modes.html
- [1711.10925] Deep Image Prior - arXiv, accessed October 19, 2025, https://arxiv.org/abs/1711.10925
- Deep Image Prior - SciSpace, accessed October 19, 2025, https://scispace.com/pdf/deep-image-prior-5cn3dnmg8j.pdf
- [1912.08905] The Spectral Bias of the Deep Image Prior - arXiv, accessed October 19, 2025, https://arxiv.org/abs/1912.08905
- Early Stopping for Deep Image Prior - arXiv, accessed October 19, 2025, https://arxiv.org/html/2112.06074v4
- ChainerでDeep Image Priorをやってみた #DeepLearning - Qiita, accessed October 19, 2025, https://qiita.com/peisuke/items/4f37a74eeb16401d2a10
- Deep image priorはDeep speech priorでもあるのか - Qiita, accessed October 19, 2025, https://qiita.com/Ryusuketa/items/c7a20fb7d5ddb834f721
- PhaseGAN: a deep-learning phase-retrieval approach for unpaired datasets - PUBDB, accessed October 19, 2025, https://bib-pubdb1.desy.de/record/459591/files/Zhang2021-OptExp-phaseGAN.pdf
- PhaseGAN: a deep-learning phase-retrieval approach for unpaired datasets, accessed October 19, 2025, https://www.researchgate.net/publication/351934018_PhaseGAN_a_deep-learning_phase-retrieval_approach_for_unpaired_datasets
- Tomographic reconstruction with a generative adversarial network - PMC, accessed October 19, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC7064113/
- Tomographic reconstruction with a generative adversarial network ..., accessed October 19, 2025, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7064113/
- arxiv.org, accessed October 19, 2025, https://arxiv.org/abs/2011.08660
- cuFFT - NVIDIA Developer, accessed October 19, 2025, https://developer.nvidia.com/cufft
- 1. Introduction — cuFFT 13.0 documentation - NVIDIA Docs Hub, accessed October 19, 2025, https://docs.nvidia.com/cuda/cufft/
- How do Tensor Cores accelerate convolutional neural network (CNN) computations?, accessed October 19, 2025, https://massedcompute.com/faq-answers/?question=How%20do%20Tensor%20Cores%20accelerate%20convolutional%20neural%20network%20(CNN)%20computations?
- Train With Mixed Precision - NVIDIA Docs, accessed October 19, 2025, https://docs.nvidia.com/deeplearning/performance/mixed-precision-training/index.html
- github.com, accessed October 19, 2025, https://github.com/daveabiy/selfphish
- Hugging Face Spaces - Quarto, accessed October 19, 2025, https://quarto.org/docs/publishing/hugging-face.html
- Spaces - Hugging Face, accessed October 19, 2025, https://huggingface.co/spaces
- XYangXRay/ganrec: Data reconstruction framework with GANs - GitHub, accessed October 19, 2025, https://github.com/XYangXRay/ganrec
- NVIDIA/physicsnemo: Open-source deep-learning framework for building, training, and fine-tuning deep learning models using state-of-the-art Physics-ML methods - GitHub, accessed October 19, 2025, https://github.com/NVIDIA/physicsnemo
- TRAINING NEURAL NETWORKS WITH TENSOR CORES - NVlabs, accessed October 19, 2025, https://nvlabs.github.io/eccv2020-mixed-precision-tutorial/files/dusan_stosic-training-neural-networks-with-tensor-cores.pdf
- Model Innovators: How Digital Twins Are Making Industries More Efficient | NVIDIA Blog, accessed October 19, 2025, https://blogs.nvidia.com/blog/digital-twins-nvidia-physicsnemo-wistron/
- Accelerating Product Development with Physics-Informed Neural ..., accessed October 19, 2025, https://developer.nvidia.com/blog/accelerating-product-development-with-physics-informed-neural-networks-and-modulus/
- Physics Informed Neural Network for Computer Vision and Medical Imaging - BayernCollab, accessed October 19, 2025, https://collab.dvb.bayern/spaces/TUMdlma/pages/73379818/Physics+Informed+Neural+Network+for+Computer+Vision+and+Medical+Imaging
- Physics-informed neural networks for brain hemodynamic predictions using medical imaging - PMC - National Institutes of Health (NIH) |, accessed October 19, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC9437127/
- Applications of physics-informed neural networks in geosciences: From basic seismology to comprehensive environmental studies - ResearchGate, accessed October 19, 2025, https://www.researchgate.net/publication/394533556_Applications_of_physics-informed_neural_networks_in_geosciences_From_basic_seismology_to_comprehensive_environmental_studies
- Physics-informed neural networks for offshore tsunami data assimilation - Oxford Academic, accessed October 19, 2025, https://academic.oup.com/gji/advance-article/doi/10.1093/gji/ggaf243/8175107?searchresult=1
- [2410.00083] A Survey on Diffusion Models for Inverse Problems - arXiv, accessed October 19, 2025, https://arxiv.org/abs/2410.00083
- (PDF) A Survey on Diffusion Models for Inverse Problems - ResearchGate, accessed October 19, 2025, https://www.researchgate.net/publication/384563289_A_Survey_on_Diffusion_Models_for_Inverse_Problems
Discussion