🍣

局所詳細釣り合い、ゆらぎの定理、Jarzynski等式と拡散モデルの関係

2023/05/30に公開

機械学習

拡散モデルの発想の一端になったJarzynski等式は2つの平衡状態間の自由エネルギーの差 $\Delta F_{eq}$ その間の遷移させる仕事Wの経路に関する平均の間の等式
$<exp(-\beta W)>=exp(-\Delta F_{eq})$
として書かれます。
この式のゆらぎのある力学系の従うLangevin式からの導出、局所詳細釣り合いとの関係、さらに拡散モデルとの関係について書きます。

「非平衡統計力学ゆらぎの熱力学から情報熱力学まで」の主に３章とのAppendix Bに書かれている内容です。拡散モデルとの関係以外はほとんどそのままの内容になってしまいました。

ゆらぎのある粒子系

overdumped Langevin方程式
$\gamma \dot{x_t}=F(x,t)+g\xi_t$
( $g=\sqrt{2\gamma k_BT}, <\xi_t,\xi_t'>=\delta(t-t')$ )
に従って動く微粒子を考える。
ただし時間を間隔 $\Delta t$ で離散的に取った場合
$\Delta W=\xi \Delta t$
は平均0,分散 $\Delta t$ の正規分布
$P(x_{t+\Delta t}|x_{t})=\frac{1}{\sqrt{2\pi\Delta t}}\exp(-\frac{\Delta W^2}{2\Delta})$
に従うとする

その $x_t$ から $x_{t+\Delta t}$ への遷移確率は離散化したLangevin方程式から
$P(x_{t+\Delta t}|x_t) \propto \exp(-\frac{\gamma}{4k_BT\Delta t}(x_{t+\Delta t}-x_t-\frac{F_t}{\gamma}\Delta t )^2 )$
(積分系で $P(x_t|x_0) \propto \exp(-\frac{\gamma}{4k_BT}\int_0^t \frac{dx_t}{dt} -\frac{F(x_t,t)}{\gamma})^2 dt)$
と書かれる。

伊藤形式とFocker-Plank方程式

ウィーナー過程 $W_t$ に対する伊藤形式の微分の公式
$(dW_t)^2=dt$
を用いると物理量A(x,t)に対して
$dA=\frac{\partial A}{\partial t}dt+\frac{\partial A}{\partial x}dx+1/2\frac{\partial^2 A}{\partial x^2} dx^2$
$=\frac{\partial A}{\partial t}dt+\frac{\partial A}{\partial x}(\frac{F}{\gamma} dt+\sqrt{\frac{2kT}{\gamma}}dW)+1/2\frac{\partial A}{\partial x}^2\frac{2kT}{\gamma}dt$
$=(\frac{\partial A}{\partial t}+\frac{F}{\gamma}\frac{\partial A}{\partial x}+\frac{\partial A}{\partial x}^2\frac{kT}{\gamma})dt+\sqrt{\frac{2kT}{\gamma}}\frac{\partial A}{\partial x}dW$
その平均値はdWが消えるため
$\frac{d<A>}{dt}=<\frac{\partial A}{\partial t}+\frac{F}{\gamma}\frac{\partial A}{\partial x}+\frac{kT}{\gamma}\frac{\partial A}{\partial x}^2)>$
と書ける。
これからoverdumped Langevin方程式に対する系の確率分布関数P(x,t)に対応するFocker-Plank方程式は
$\frac{\partial P}{\partial t}=(-\frac{\partial}{\partial x}\frac{F}{\gamma}+ \frac{kT}{\gamma}\frac{\partial}{\partial x}^2 )P(x,t)$
とかける。ここで確率の流れ
$J(x,t):=\frac{F}{\gamma}P(x,t)-\frac{kT}{\gamma}\frac{\partial}{\partial x}P(x,t)$
を定義し、流れの式
$\frac{\partial P}{\partial t}=-\frac{\partial J(x,t)}{\partial x}$
の形にする。また
$v(x,t):=J/P=F/\gamma-\frac{kT}{\gamma}\partial_x P$
と定義する。

ポテンシャル関数V(x)で力が書かれる場合 $F=\frac{dV(x)}{dx}$ を考えると平衡状態の確率分布は平衡自由エネルギー $F_{eq}:=-\frac{1}{\beta}\log\int dx e^{-\beta V(x)}$ を使って
$P(x)=exp(F_{eq}-V(x))$
とかける。

ストラトノビッチ形式

ここで微小な時間における系内外の熱や仕事のやり取りを記述するためにストラトノビッチ形式の微分
$dA(x_t) \circ dW := \lim_{\Delta t-> 0}\frac{A(x_{t+\Delta t}+A(x_t))}{2}\Delta W$
(A(x)は物理量)を導入する。これによってoverdumped Langevin系は
$dA(x_t) \circ dx=(\frac{F}{\gamma}A+\frac{kT}{\gamma}\frac{\partial A}{\partial x})dt+\sqrt{\frac{2kT}{\gamma}}AdW$
となることからその分布平均は
$<dA(x_t) \circ dx> =\int dx JA$
と書くことができる。

非平衡な状況での熱、仕事の定義

ポテンシャルV(x)を動かして行った時のエネルギー $E(t)$ の時間変化は
$dE/dt=\int\frac{\partial P}{\partial t}E+\int P\frac{\partial E}{\partial t}$
となるがここから非平衡な状態での熱,仕事の変化を
$\dot{Q}:=-\int dxJ(x,t)F (=-\int dx \frac{\partial J}{\partial x}V=-\int dx \frac{\partial J}{\partial x}E=\int dx \frac{\partial P}{\partial t}E(t))$
$\dot{W}:=\int dx P(x,t)\frac{\partial V}{\partial t}+\int dx Jf$
と定義することができる。
一方シャノンエントロピーの $S(t)$ の時間変化は
$\frac{dS}{dt}=-\int dx \frac{\partial P}{\partial t} \log P=-\int dx J\frac{\frac{\partial P}{\partial x}}{P}=\int dx J(\gamma\beta J/P -\beta F)$
となることからエントロピー全体の変化は
$\dot{\sigma}:=\frac{dS}{dt}-\beta \dot{Q}=\gamma\beta\int dx\frac{J^2}{P}=\gamma\beta\int dx Pv^2>=0$
となり熱力学第２法則が再現される。(非平衡な系では $\dot{\sigma}=\dot{\sigma_{ex}}+\dot{\sigma_{hk}}$ (過剰エントロピー生成+維持エントロピー生成)と分解される。)

局所詳細釣り合い、ゆらぎの定理、Jarzynski等式の導出

確率的な熱の変化 $\dot{\hat{Q}}dt$ はストラトノビッチ形式のところで示した式
$<\frac{\partial V}{\partial x} \circ dx/dt> =\int dx J \frac{\partial V}{\partial x}=Q$
から
$\dot{\hat{Q}}dt={\partial V}{\partial x} \circ dx/dt$
外力fがある場合にも一般化すると
$\dot{\hat{Q}}dt={\partial V}{\partial x} \circ dx/dt+fdx$
とかける。一方で系に対するV、外力fによる操作を介した仕事は
$\dot{\hat{W}}dt:={\partial V}{\partial t}dt+fdx$
と書かれる。これらから
経路レベルでの熱力学第一法則が
$\frac{dV}{dt}=\dot{\hat{Q}}+\dot{\hat{W}}$
と書かれる。
$x_{n}\rightarrow x_{n+1}$ の遷移とその逆の遷移 $x_{n+1}\rightarrow x_{n}$ の遷移確率
$P(x_{n}|x_{n+1}) \propto \exp(\frac{\beta\gamma}{4\Delta t}(x_{n+1}-x_n-\frac{F_n}{\gamma}\Delta t)^2 )$
$P(x_{n+1}|x_{n}) \propto \exp(\frac{\beta\gamma}{4\Delta t}(x_{n}-x_{n-1}-\frac{F_n}{\gamma}\Delta t)^2 )$
の比を取った形
$\frac{P(x_{n}|x_{n+1})}{P(x_{n+1}|x_n)}= -e^{-(F_{n+1}-F_n)\frac{x_{n+1}-x_n}{2}} \rightarrow e^{-F(x_n)\circ dx_n}=e^{\beta \hat{Q}_n(x_{n+1},x_n)}$
をxの変化する経路に対して積分したものとして局所詳細釣り合いは
$\frac{P[x_t^\dagger|x_0,\lambda_t^\dagger]}{P[x_t|x_0,\lambda_t]}=e^{\beta Q[x_t,\lambda_t]}$
と書かれる。ただし[]は経路に関する引数の意味で $\lambda_t$ は制御パラメーター、 $x_t^\dagger, \lambda_t^\dagger$ は $x_t, \lambda_t$ の逆向きの操作を表す^[1]。MCMCで分布が定常に収束する条件としてでてくる詳細釣り合いを非平衡の場合に一般化した形と言える。

詳細ゆらぎの定理

まず確率的なシャノンエントロピー $\hat{s}(x,t):=-\log P(x,t)$ を定義する。経路に対するアンサンブル平均は $<\hat{s}(x,t)>=-\sum_x \log P(x,t)$ と普通のシャノンエントロピーになるので妥当な定義である。

順過程 $x_0　\rightarrow x_t$ とその逆過程 $x_t　\rightarrow x_0$ の終状態での確率が始状態での確率各々 $P(x_0,0),P_B(x_0^\dagger,0)$ を用いて
$P[x_t|\lambda_t]=P[x_t|x_0,\lambda_t]P(x_0,0)$
$P[x_t^\dagger|\lambda_t^\dagger]=P[x_t^\dagger|x_0^\dagger,\lambda_t^\dagger]P_B(x_0,0)$
と書かれること、
また時刻0の始状態から時刻tの終状態のエントロピー生成を
$\hat{\sigma}[x_t,\lambda_t]:=\hat{s}(x_t,t)-\hat{s}(x_0,0)-\beta Q(x_t,\lambda_t)$
と定義するとすると
$\frac{P[x_t^\dagger|\lambda_t^\dagger]}{P[x_t|\lambda_t]}=e^{-\hat{\sigma}[x_t,\lambda_t]}$
となりこれを詳細ゆらぎの定理と呼ぶ
また
$P(\hat{\sigma}=a):=\int Dx_t P[x_t|\lambda_t]\delta(\hat{\sigma}(x_t,\lambda_t)-a)$
$P_B(\hat{\sigma}=a):=\int Dx_t^\dagger P[x_t^\dagger|\lambda_t^\dagger]\delta(\hat{\sigma}(x_t^\dagger,\lambda_t^\dagger)-a)$
に対しては
$\frac{P(\hat{\sigma}=a)}{P(\hat{\sigma}=-a)}=e^a$
となりCrooksのゆらぎの定理とよばれる。さらに
$\int da P(\hat{\sigma}=a)e^{-a}=\int da P_B(\hat{\sigma}=-a)$
を積分した
$<e^{-\hat{\sigma}}>=1$
は積分型ゆらぎの定理と呼ばれる

Jarzynski等式

順過程、逆過程の始点の分布がカノニカルであるすなわち、その分布が
$P(x_t,t)=e^{\beta (F_{eq}(\lambda)-E_x(\lambda)}$
$P_B(x_t^\dagger,t)=e^{\beta (F_{eq}(\lambda)-E_x(\lambda)}$
とするとこのエントロピー生成は
$\hat{\sigma}_w[x_t,\lambda_t]:=-\log P(x_0^\dagger,0)+\log P(x_0,0)-\beta\hat{Q}[x_t,\lambda_t]=\beta(\hat{W}[x_t,\lambda_t]-\Delta F_{eq})$
$\Delta F_{eq}:=F_{eq}（\lambda_t)-F_{eq}（\lambda_0)$

となり、積分型ゆらぎの定理 $<e^{-\hat{\sigma}}>=1$ から
上記のように始状態はカノニカル分布としたが終状態もカノニカルであるとすれば $\hat{\sigma}_w=\hat{\sigma}$ となり詳細ゆらぎの定理は
$\frac{P[x_t^\dagger|\lambda_t^\dagger]}{P[x_t|\lambda_t]}=e^{-\hat{\sigma_w}[x_t,\lambda_t]}$
積分型ゆらぎの定理は
$<e^{-\beta\hat{W}}>=\exp(-\Delta F_{eq})$
となりこれがJarzynski等式である。