非平衡統計力学、拡散モデルで使えそうな確率不等式

長くなったので続きを分けました。
https://zenn.dev/xiangze/articles/2878bdf7c4d77c
で確率分布に対する色々な不等式を紹介しましたが、

その中でも対数 Sobolev 不等式と Talagrand 不等式の改良について
では分布関数の分散が大きい場合、小さい場合に対数 Sobolev不等式とTalagrand 不等式の改良が行われています。

defict $δ\delta$を不等式の両辺の差として定義する

$δLSI(μ):=12Iγ(μ)−Entγ(μ)\delta_{LSI}(\mu):=\frac{1}{2} I_\gamma(\mu) − Ent_\gamma(\mu)$

$δTal(μ):=Entγ(μ)−12W2(μ,γ)2\delta_{Tal}(\mu):=Ent_\gamma(\mu) -\frac{1}{2} W_2(\mu,\gamma)^2$

deficit の非自明な下界を評価することにする

分散が小さい場合の改良

$0<β≤10 \lt \beta \le 1$を満たすとし$μ∈Pac2(Rn;γ)\mu \in P^2_{ac}(R^n;\gamma)$に対し$cov(μ)≤βIncov(\mu)\le \beta I_n$ならば

$δLSI(μ)≥δTal(μ)=n2(log⁡β−1+1β)\delta_{LSI}(\mu) \ge \delta_{Tal}(\mu)=\frac{n}{2}(\log \beta-1+\frac{1}{\beta})$

$δTal(μ)≥n(2(1−β)+(1+β)log⁡β)2(β−1)\delta_{Tal}(\mu) \ge \frac{n(2(1-\beta)+(1+\beta)\log\beta)}{2(\beta-1)}$

分散が大きい場合の改良

$μ∈P2(Rn),dμ(x):=f(x)dx\mu \in \mathcal{P}^2(R^n), d\mu(x):=f(x)dx$である確率密度関数fに対し(定数$β\beta$があり)

$∇2log⁡f≥−1βIn⇒cov(μ)≥βIn\nabla^2 \log f \ge −\frac{1}{\beta}I_n \Rightarrow cov(\mu) \ge \beta I_n$

$∇2log⁡f≤−1βIn⇒cov(μ)≤βIn\nabla^2 \log f \le −\frac{1}{\beta}I_n \Rightarrow cov(\mu) \le \beta I_n$

$Δlog⁡f≥−nβIn⇒Tr[cov(μ)]≥nβ\Delta \log f \ge −\frac{n}{\beta}I_n \Rightarrow Tr[cov(\mu)] \ge n\beta$

であり

($β≥1\beta\ge 1$かつfがβ-semi-log-subharmonic)または($β≤1\beta\le 1$かつfがβ-semi-log-concave)のとき
$δLSI(μ)≥δTal(μ)=n2(log⁡β−1+1β)\delta_{LSI}(\mu) \ge \delta_{Tal}(\mu)=\frac{n}{2}(\log \beta-1+\frac{1}{\beta})$

($β≥1\beta\ge 1$かつfがβ-semi-log-convexと$∇2log⁡f≤0\nabla^2\log f \le 0$)または($β≤1\beta\le 1$かつfがβ-semi-log-concave)のとき
$δTal(μ)≥δTal(γβ)=n(β−12log⁡β−1)\delta_{Tal}(\mu) \ge \delta_{Tal}(\gamma_\beta)=n(\sqrt{\beta} − \frac{1}{2}\log \beta −1 )$

これは機械学習、統計力学の文脈で意味がありそうです。

その他

• Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network
  VAEの改良版で対数ソボレフ不等式について言及が有ります。
• 対数ソボレフ不等式について