Open2
拡散モデルの多様体学習、汎化とWasserstein収束解析に関する研究
xiangzeYour diffusion model secretly knows the dimension of the data manifold
SVDで学習途中の実行的な次元を見ている。参考文献はあまり多くない
Score-Based Generative Models Detect Manifolds
SGMが基礎となる（低次元の）データ多様体からサンプルを生成できる正確な条件を発見した
Convergence of denoising diffusion models under the manifold hypotheis
Manifold learning in Wasserstein space
収束解析
Score Matching for Truncated Density Estimation on a Manifold
Deep Generative Models through the Lens of the Manifold Hypothesis: A Survey and New Connections
manifold overfittingという概念を提唱し、様々な深層生成モデルをmanifold overfitting対応がされているもの、そうでないものに分類して解説している。
A Statistical Analysis of Wasserstein Autoencoders for Intrinsically Low-dimensional Data
ネットワークアーキテクチャが適切に選択されていれば、WAE がデータ分布を学習できることを示している。期待される過剰リスクの収束率はデータ分布の固有次元のみに依存する
Convergence of flow-based generative models via proximal gradient descent in Wasserstein space
Jordan-Kinderleherer-Otto (JKO) scheme を備えたflow modelの収束解析、保証
Convergence to equilibrium in Wasserstein distance for Fokker-Planck equations
Generative Modeling by Estimating Gradients of the Data Distribution
score based modelのサンプリングの困難さについて説明して
xiangzeWasserstein proximal operators describe score-based generative models and resolve memorization
拡散モデル(スコアベースモデル)をWasserstein 近似演算子で定式化してそれがHamilton-Jacobi-Bellman方程式を使って最適化の条件を書けるとのこと。さらにカーネルを使って問題を書くと「記憶効果」という副作用が回避できるそう