Appleの画像生成モデル Matryoshka
Shuichi Tsutsumi
Apple released Matryoshka Diffusion Models
github: https://github.com/apple/ml-mdm
Diffusion models are the de facto approach for generating high-quality images and videos, but learning high-dimensional models remains a formidable task due to computational and optimization challenges. Existing methods often resort to training cascaded models in pixel space or using a downsampled latent space of a separately trained auto-encoder. In this paper, we introduce Matryoshka Diffusion Models(MDM), an end-to-end framework for high-resolution image and video synthesis. We propose a diffusion process that denoises inputs at multiple resolutions jointly and uses a NestedUNet architecture where features and parameters for small-scale inputs are nested within those of large scales. In addition, MDM enables a progressive training schedule from lower to higher resolutions, which leads to significant improvements in optimization for high-resolution generation. We demonstrate the effectiveness of our approach on various benchmarks, including class-conditioned image generation, high-resolution text-to-image, and text-to-video applications. Remarkably, we can train a single pixel-space model at resolutions of up to 1024x1024 pixels, demonstrating strong zero-shot generalization using the CC12M dataset, which contains only 12 million images.
（拡散モデルは、高品質な画像や動画を生成するためのデファクトアプローチであるが、高次元モデルの学習は、計算および最適化の課題により、依然として困難なタスクである。既存の手法では、ピクセル空間でカスケードモデルを学習するか、別途学習したオートエンコーダの潜在空間をダウンサンプリングして使用することが多い。本論文では、マトリョーシカ拡散モデル（Matryoshka Diffusion Models：MDM）を紹介する。我々は、複数の解像度の入力を共同でノイズ除去する拡散プロセスを提案し、小規模な入力の特徴量とパラメータが大規模な入力の特徴量とパラメータにネストされるNestedUNetアーキテクチャを用いる。さらに、MDMは、低解像度から高解像度への漸進的な学習スケジュールを可能にし、高解像度生成のための最適化を大幅に改善する。我々は、クラス条件付き画像生成、高解像度テキストから画像、テキストからビデオへの応用を含む様々なベンチマークにおいて、我々のアプローチの有効性を実証する。驚くべきことに、我々は最大1024x1024ピクセルの解像度で単一のピクセル空間モデルを学習することができ、わずか1200万枚の画像を含むCC12Mデータセットを用いて、強力なゼロショット汎化を実証する。）