Physics-Informed Neural Network (PINN) で学習がうまく行かないときに試してみること

PINNで学習がうまく行かないときに試して見るものをまとめる

損失関数を L^{\infty}ノルムにしてみる

https://arxiv.org/abs/2206.02016

• 偏微分方程式の安定性が良くなるBanach空間を探して，その空間のノルムで評価するのが良い．
• 上の論文だと L^{\infty} だったが，方程式によっては他のノルムが良くなる？
• L^{\infty}ノルムだとadversarial training というものになるとのこと

カリキュラム学習

https://arxiv.org/abs/2109.01050

• 最初は簡単な偏微分方程式をPINNに解かせて，その後に少しずつ難しい問題に適用させるという学習方法
• 具体的には，偏微分方程式の係数を小さくしてみてうまく学習できるものを探す．その後，目当ての係数の大きさになるまで少しずつ大きくして学習を進める

Adaptive sampling

https://arxiv.org/abs/2007.04542

Learning rate annealing とニューラルネットワークのアーキテクチャの改善

https://arxiv.org/abs/2001.04536

• 境界条件の損失関数とPDEの損失関数の勾配の大きさが極端に異なる場合は重みを設定する必要がある
• 損失関数の勾配が同程度になるように重みを決定する
• 入力データの特徴量をより混ぜ混ぜするネットワーク？