非平衡統計力学、拡散モデルで使えそうな確率不等式

長くなったので続きを分けました。
https://zenn.dev/xiangze/articles/2878bdf7c4d77c
で確率分布に対する色々な不等式を紹介しましたが、

その中でも対数 Sobolev 不等式と Talagrand 不等式の改良について
では分布関数の分散が大きい場合、小さい場合に対数 Sobolev不等式とTalagrand 不等式の改良が行われています。

defict $\delta$を不等式の両辺の差として定義する

$\delta_{LSI}(\mu):=\frac{1}{2} I_\gamma(\mu) − Ent_\gamma(\mu)$

$\delta_{Tal}(\mu):=Ent_\gamma(\mu) -\frac{1}{2} W_2(\mu,\gamma)^2$

deficit の非自明な下界を評価することにする

分散が小さい場合の改良

$0 \lt \beta \le 1$を満たすとし$\mu \in P^2_{ac}(R^n;\gamma)$に対し$cov(\mu)\le \beta I_n$ならば

$\delta_{LSI}(\mu) \ge \delta_{Tal}(\mu)=\frac{n}{2}(\log \beta-1+\frac{1}{\beta})$

$\delta_{Tal}(\mu) \ge \frac{n(2(1-\beta)+(1+\beta)\log\beta)}{2(\beta-1)}$

分散が大きい場合の改良

$\mu \in \mathcal{P}^2(R^n), d\mu(x):=f(x)dx$である確率密度関数fに対し(定数$\beta$があり)

$\nabla^2 \log f \ge −\frac{1}{\beta}I_n \Rightarrow cov(\mu) \ge \beta I_n$

$\nabla^2 \log f \le −\frac{1}{\beta}I_n \Rightarrow cov(\mu) \le \beta I_n$

$\Delta \log f \ge −\frac{n}{\beta}I_n \Rightarrow Tr[cov(\mu)] \ge n\beta$

であり

($\beta\ge 1$かつfがβ-semi-log-subharmonic)または($\beta\le 1$かつfがβ-semi-log-concave)のとき
$\delta_{LSI}(\mu) \ge \delta_{Tal}(\mu)=\frac{n}{2}(\log \beta-1+\frac{1}{\beta})$

($\beta\ge 1$かつfがβ-semi-log-convexと$\nabla^2\log f \le 0$)または($\beta\le 1$かつfがβ-semi-log-concave)のとき
$\delta_{Tal}(\mu) \ge \delta_{Tal}(\gamma_\beta)=n(\sqrt{\beta} − \frac{1}{2}\log \beta −1 )$

これは機械学習、統計力学の文脈で意味がありそうです。

その他

• Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network
  VAEの改良版で対数ソボレフ不等式について言及が有ります。
• 対数ソボレフ不等式について