🍣

局所詳細釣り合い、ゆらぎの定理、Jarzynski等式と拡散モデルの関係

2023/05/30に公開

機械学習

拡散モデルの発想の一端になったJarzynski等式は2つの平衡状態間の自由エネルギーの差 $\Delta F_{eq}$ その間の遷移させる仕事Wの経路に関する平均の間の等式
$<exp(-\beta W)>=exp(-\Delta F_{eq})$
として書かれます。
この式のゆらぎのある力学系の従うLangevin式からの導出、局所詳細釣り合いとの関係、さらに拡散モデルとの関係について書きます。

「非平衡統計力学ゆらぎの熱力学から情報熱力学まで」の主に３章とのAppendix Bに書かれている内容です。拡散モデルとの関係以外はほとんどそのままの内容になってしまいました。

ゆらぎのある粒子系

overdumped Langevin方程式
$\gamma \dot{x_t}=F(x,t)+g\xi_t$
( $g=\sqrt{2\gamma k_BT}, <\xi_t,\xi_t'>=\delta(t-t')$ )
に従って動く微粒子を考える。
ただし時間を間隔 $\Delta t$ で離散的に取った場合
$\Delta W=\xi \Delta t$
は平均0,分散 $\Delta t$ の正規分布
$P(x_{t+\Delta t}|x_{t})=\frac{1}{\sqrt{2\pi\Delta t}}\exp(-\frac{\Delta W^2}{2\Delta})$
に従うとする

その $x_t$ から $x_{t+\Delta t}$ への遷移確率は離散化したLangevin方程式から
$P(x_{t+\Delta t}|x_t) \propto \exp(-\frac{\gamma}{4k_BT\Delta t}(x_{t+\Delta t}-x_t-\frac{F_t}{\gamma}\Delta t )^2 )$
(積分系で $P(x_t|x_0) \propto \exp(-\frac{\gamma}{4k_BT}\int_0^t \frac{dx_t}{dt} -\frac{F(x_t,t)}{\gamma})^2 dt)$
と書かれる。

伊藤形式とFocker-Plank方程式

ウィーナー過程 $W_t$ に対する伊藤形式の微分の公式
$(dW_t)^2=dt$
を用いると物理量A(x,t)に対して
$dA=\frac{\partial A}{\partial t}dt+\frac{\partial A}{\partial x}dx+1/2\frac{\partial^2 A}{\partial x^2} dx^2$
$=\frac{\partial A}{\partial t}dt+\frac{\partial A}{\partial x}(\frac{F}{\gamma} dt+\sqrt{\frac{2kT}{\gamma}}dW)+1/2\frac{\partial A}{\partial x}^2\frac{2kT}{\gamma}dt$
$=(\frac{\partial A}{\partial t}+\frac{F}{\gamma}\frac{\partial A}{\partial x}+\frac{\partial A}{\partial x}^2\frac{kT}{\gamma})dt+\sqrt{\frac{2kT}{\gamma}}\frac{\partial A}{\partial x}dW$
その平均値はdWが消えるため
$\frac{d<A>}{dt}=<\frac{\partial A}{\partial t}+\frac{F}{\gamma}\frac{\partial A}{\partial x}+\frac{kT}{\gamma}\frac{\partial A}{\partial x}^2)>$
と書ける。
これからoverdumped Langevin方程式に対する系の確率分布関数P(x,t)に対応するFocker-Plank方程式は
$\frac{\partial P}{\partial t}=(-\frac{\partial}{\partial x}\frac{F}{\gamma}+ \frac{kT}{\gamma}\frac{\partial}{\partial x}^2 )P(x,t)$
とかける。ここで確率の流れ
$J(x,t):=\frac{F}{\gamma}P(x,t)-\frac{kT}{\gamma}\frac{\partial}{\partial x}P(x,t)$
を定義し、流れの式
$\frac{\partial P}{\partial t}=-\frac{\partial J(x,t)}{\partial x}$
の形にする。また
$v(x,t):=J/P=F/\gamma-\frac{kT}{\gamma}\partial_x P$
と定義する。

ポテンシャル関数V(x)で力が書かれる場合 $F=\frac{dV(x)}{dx}$ を考えると平衡状態の確率分布は平衡自由エネルギー $F_{eq}:=-\frac{1}{\beta}\log\int dx e^{-\beta V(x)}$ を使って
$P(x)=exp(F_{eq}-V(x))$
とかける。

ストラトノビッチ形式

ここで微小な時間における系内外の熱や仕事のやり取りを記述するためにストラトノビッチ形式の微分
$dA(x_t) \circ dW := \lim_{\Delta t-> 0}\frac{A(x_{t+\Delta t}+A(x_t))}{2}\Delta W$
(A(x)は物理量)を導入する。これによってoverdumped Langevin系は
$dA(x_t) \circ dx=(\frac{F}{\gamma}A+\frac{kT}{\gamma}\frac{\partial A}{\partial x})dt+\sqrt{\frac{2kT}{\gamma}}AdW$
となることからその分布平均は
$<dA(x_t) \circ dx> =\int dx JA$
と書くことができる。

非平衡な状況での熱、仕事の定義

ポテンシャルV(x)を動かして行った時のエネルギー $E(t)$ の時間変化は
$dE/dt=\int\frac{\partial P}{\partial t}E+\int P\frac{\partial E}{\partial t}$
となるがここから非平衡な状態での熱,仕事の変化を
$\dot{Q}:=-\int dxJ(x,t)F (=-\int dx \frac{\partial J}{\partial x}V=-\int dx \frac{\partial J}{\partial x}E=\int dx \frac{\partial P}{\partial t}E(t))$
$\dot{W}:=\int dx P(x,t)\frac{\partial V}{\partial t}+\int dx Jf$
と定義することができる。
一方シャノンエントロピーの $S(t)$ の時間変化は
$\frac{dS}{dt}=-\int dx \frac{\partial P}{\partial t} \log P=-\int dx J\frac{\frac{\partial P}{\partial x}}{P}=\int dx J(\gamma\beta J/P -\beta F)$
となることからエントロピー全体の変化は
$\dot{\sigma}:=\frac{dS}{dt}-\beta \dot{Q}=\gamma\beta\int dx\frac{J^2}{P}=\gamma\beta\int dx Pv^2>=0$
となり熱力学第２法則が再現される。(非平衡な系では $\dot{\sigma}=\dot{\sigma_{ex}}+\dot{\sigma_{hk}}$ (過剰エントロピー生成+維持エントロピー生成)と分解される。)

局所詳細釣り合い、ゆらぎの定理、Jarzynski等式の導出

確率的な熱の変化 $\dot{\hat{Q}}dt$ はストラトノビッチ形式のところで示した式
$<\frac{\partial V}{\partial x} \circ dx/dt> =\int dx J \frac{\partial V}{\partial x}=Q$
から
$\dot{\hat{Q}}dt={\partial V}{\partial x} \circ dx/dt$
外力fがある場合にも一般化すると
$\dot{\hat{Q}}dt={\partial V}{\partial x} \circ dx/dt+fdx$
とかける。一方で系に対するV、外力fによる操作を介した仕事は
$\dot{\hat{W}}dt:={\partial V}{\partial t}dt+fdx$
と書かれる。これらから
経路レベルでの熱力学第一法則が
$\frac{dV}{dt}=\dot{\hat{Q}}+\dot{\hat{W}}$
と書かれる。
$x_{n}\rightarrow x_{n+1}$ の遷移とその逆の遷移 $x_{n+1}\rightarrow x_{n}$ の遷移確率
$P(x_{n}|x_{n+1}) \propto \exp(\frac{\beta\gamma}{4\Delta t}(x_{n+1}-x_n-\frac{F_n}{\gamma}\Delta t)^2 )$
$P(x_{n+1}|x_{n}) \propto \exp(\frac{\beta\gamma}{4\Delta t}(x_{n}-x_{n-1}-\frac{F_n}{\gamma}\Delta t)^2 )$
の比を取った形
$\frac{P(x_{n}|x_{n+1})}{P(x_{n+1}|x_n)}= -e^{-(F_{n+1}-F_n)\frac{x_{n+1}-x_n}{2}} \rightarrow e^{-F(x_n)\circ dx_n}=e^{\beta \hat{Q}_n(x_{n+1},x_n)}$
をxの変化する経路に対して積分したものとして局所詳細釣り合いは
$\frac{P[x_t^\dagger|x_0,\lambda_t^\dagger]}{P[x_t|x_0,\lambda_t]}=e^{\beta Q[x_t,\lambda_t]}$
と書かれる。ただし[]は経路に関する引数の意味で $\lambda_t$ は制御パラメーター、 $x_t^\dagger, \lambda_t^\dagger$ は $x_t, \lambda_t$ の逆向きの操作を表す^[1]。MCMCで分布が定常に収束する条件としてでてくる詳細釣り合いを非平衡の場合に一般化した形と言える。

詳細ゆらぎの定理

まず確率的なシャノンエントロピー $\hat{s}(x,t):=-\log P(x,t)$ を定義する。経路に対するアンサンブル平均は $<\hat{s}(x,t)>=-\sum_x \log P(x,t)$ と普通のシャノンエントロピーになるので妥当な定義である。

順過程 $x_0　\rightarrow x_t$ とその逆過程 $x_t　\rightarrow x_0$ の終状態での確率が始状態での確率各々 $P(x_0,0),P_B(x_0^\dagger,0)$ を用いて
$P[x_t|\lambda_t]=P[x_t|x_0,\lambda_t]P(x_0,0)$
$P[x_t^\dagger|\lambda_t^\dagger]=P[x_t^\dagger|x_0^\dagger,\lambda_t^\dagger]P_B(x_0,0)$
と書かれること、
また時刻0の始状態から時刻tの終状態のエントロピー生成を
$\hat{\sigma}[x_t,\lambda_t]:=\hat{s}(x_t,t)-\hat{s}(x_0,0)-\beta Q(x_t,\lambda_t)$
と定義するとすると
$\frac{P[x_t^\dagger|\lambda_t^\dagger]}{P[x_t|\lambda_t]}=e^{-\hat{\sigma}[x_t,\lambda_t]}$
となりこれを詳細ゆらぎの定理と呼ぶ
また
$P(\hat{\sigma}=a):=\int Dx_t P[x_t|\lambda_t]\delta(\hat{\sigma}(x_t,\lambda_t)-a)$
$P_B(\hat{\sigma}=a):=\int Dx_t^\dagger P[x_t^\dagger|\lambda_t^\dagger]\delta(\hat{\sigma}(x_t^\dagger,\lambda_t^\dagger)-a)$
に対しては
$\frac{P(\hat{\sigma}=a)}{P(\hat{\sigma}=-a)}=e^a$
となりCrooksのゆらぎの定理とよばれる。さらに
$\int da P(\hat{\sigma}=a)e^{-a}=\int da P_B(\hat{\sigma}=-a)$
を積分した
$<e^{-\hat{\sigma}}>=1$
は積分型ゆらぎの定理と呼ばれる

Jarzynski等式

順過程、逆過程の始点の分布がカノニカルであるすなわち、その分布が
$P(x_t,t)=e^{\beta (F_{eq}(\lambda)-E_x(\lambda)}$
$P_B(x_t^\dagger,t)=e^{\beta (F_{eq}(\lambda)-E_x(\lambda)}$
とするとこのエントロピー生成は
$\hat{\sigma}_w[x_t,\lambda_t]:=-\log P(x_0^\dagger,0)+\log P(x_0,0)-\beta\hat{Q}[x_t,\lambda_t]=\beta(\hat{W}[x_t,\lambda_t]-\Delta F_{eq})$
$\Delta F_{eq}:=F_{eq}（\lambda_t)-F_{eq}（\lambda_0)$

となり、積分型ゆらぎの定理 $<e^{-\hat{\sigma}}>=1$ から
上記のように始状態はカノニカル分布としたが終状態もカノニカルであるとすれば $\hat{\sigma}_w=\hat{\sigma}$ となり詳細ゆらぎの定理は
$\frac{P[x_t^\dagger|\lambda_t^\dagger]}{P[x_t|\lambda_t]}=e^{-\hat{\sigma_w}[x_t,\lambda_t]}$
積分型ゆらぎの定理は
$<e^{-\beta\hat{W}}>=\exp(-\Delta F_{eq})$
となりこれがJarzynski等式である。

拡散モデルとの関係

Jarzynski等式は拡散モデルのアルゴリズムのアイデアの出発点ではあるが出発点と終点がカノニカル分布であれば成立する。

拡散過程で徐々に温度を上げていき高温で簡単な計算可能な形の分布関数で表すというのがAnealed Importance Sampling(AIS)のアイデアである。仕事Wに相当するtransition kernelも正
規分布となり、とともに目的関数が解析的に計算できるのも利点となる。

Jarzynski等式が等式であることからも拡散過程、逆拡散過程は可逆であり拡散過程で増えたエントロピーは逆拡散過程ではscore関数が影響することによって減少する。ただし変分近似による誤差の分すなわちKLダイバージェンスの分だけ余計なエントロピーが残り性能限界に対応する。

https://booth.pm/ja/items/4757397

展望？

非平衡定常状態での不確定性関係、速度限界などについて拡散モデルで対応することが何か言えるかも知れない。

ためになるリンク

というのも、非平衡統計力学はこの 15 年ほどで面目を一新したからであり、その意味で以前の教科書は「古典的」になっていると考えられるからである。

「非平衡統計力学ゆらぎの熱力学から情報熱力学まで」では局所詳細釣り合い、ゆらぎの定理から平衡状態から少しだけ離れた系の物理量の関係(線形応答理論)を導出しています。

Fluctuation Theoremによる生体モーターの駆動力測定

Nonequilibrium Physics : 非平衡科学
http://sosuke110.com/noneq-phys.pdf

熱力学的系におけるスピードの原理限界

速度限界に関しては生物進化に適応した研究

もある。

微小系における熱力学
確率熱力学について

熱力学的不確定性関係と統計学のCramers-Raoの関係式の関係については　
数理科学2020年11月号情報幾何学の探求

でも簡単に触れられている。

脚注

非平衡統計力学ゆらぎの熱力学から情報熱力学まで」ではこれを力学系の詳細に依らず成り立つ原理として扱っているようです。 ↩︎