Physical-informed machine learning に関する調査と知見 (執筆途中)

近年研究が精力的に行われている、Physical-informed machine learning (物理誘導型機械学習, PIML)についてReview論文([1]Karniadakis, George Em, et al. "Physics-informed machine learning." Nature Reviews Physics 3.6 (2021): 422-440.)をもとに内容の整理を行い共有を行う。

PIMLの位置付け

PIMLの位置付けは、数理モデルと機械学習の中間的な役割である。ある問題について実験やシミュレーションを行うとき、機械学習が登場する前は少量のデータから導かれる数理モデルが構築されることが多かった。これに対して、近年では機械学習が台頭し、大量のデータ(Big data)から傾向を学習し、分類や検出を行うことが多い。大量のパラメータを学習することで、本来知ることができない傾向を学習することができる。特に、近年の研究ではより大量の入力データを用意し、それを用いて事前に大量の学習を行うことが前提である。
それらに対して、PIMLは、「物理モデルと学習データを統合する」ことを目的としている。学習時に充足しておくべき条件を物理モデルによって明らかにし、また同時に精度の粗いモデルの抜けを学習データで補うことで、「物理モデルを考慮した機械学習のフレームワーク」を実現しうる。下記は、その学習データ量と物理モデルの関係性を示したものである[1].

[1]学習データの量と物理モデルとの関係

バイアスの設計 - 物理に基づいたモデルにするとはどういうことか？

[1]によれば、物理に基づいた学習は、学習過程において適切なバイアスを導入することを指す。ここでいうバイアスとは、主に観測的/帰納的/学習バイアスを指す。
観測的バイアスとは、観測されるデータはなんらかの物理現象に起因して出力されるであろう、というバイアスのことである。物理現象の特徴をよく反映するようなデータの設計が求められる。次に帰納バイアスとは、予測される結果が根底にある物理現象を満たすように学習フレームワークを設計しましょう、というバイアスである。最後に学習バイアスは、学習時の目的関数などに緩やかな物理的/数学的制約を加えて、想定する物理現象へ収束しやすくさせる働きである。

Physical-induced neural network (PINN)

Neural networkを用いたPIMLの例を示す。粘性流体に関するBurgersの対流–拡散方程式は以下である。NNによって得られる結果が、下記の方程式を満たすように学習することを考える。

$$\frac{\partial\bm{u}}{\partial t} + \bm{u}\frac{\partial \bm{u}}{\partial \bm{x}} = \nu\frac{\partial^2 \bm{u}}{\partial \bm{x}^2}\\$$

ここで、目的関数を以下のように設定する。赤字で書いてあるのは、物理モデルに従うことを示す項である。

$$L = w_{data}L_{data} + \textcolor{red}{w_{PDE}L_{PDE}}$$

このうち、$L_{data}$は予測した結果との差を表す項であり、$L_{PDE}$は予測した結果が対流-拡散方程式を満たす頃である。

$$L_{data} = \frac{1}{N_{data}}\Sigma_{i=1}^{N_{data}}(u(x_i,t_i)-u_i)^2$$

$$L_{PDE} = \frac{1}{N_{PDE}}\Sigma_{i=1}^{N_{PDE}}(\frac{\partial\bm{u}}{\partial t} + \bm{u}\frac{\partial \bm{u}}{\partial \bm{x}}-\nu\frac{\partial^2 \bm{u}}{\partial \bm{x}^2})^2 l(x_i,t_i)$$

PINN Algorithmのフレームワークを次に示す。あくまで一例であるが、NNの出力に対して、満たすべき方程式に対する誤差を計算しペナルティとする。

[1] PINN Algorithmのフレームワーク

例えばコーヒーカップへの流体に対する流体の速度と圧力分布を温度分布から推定した結果がreview論文には存在した。これらはまさに流体が満たすべき方程式 (上に示した方程式は一例)を利用し、推定されている。

[1] エスプレッソカップ上の三次元流れ場を、Tomo-BOS（Tomographic Background Oriented Schlieren）イメージングシステムとPINNを用いて推定した例。