 ごきげんよう、皆さま✨ 本日ご紹介いたしますのは、これまで自己回帰モデルが支配的でございました言語生成の世界に、まるで颯爽と舞い降りた新星――拡散言語モデル（Diffusion Language Models）でございますの！💎 さらに、その理論的土台となる離散拡散モデル（Discrete Diffusion Models）についても、わたくしが余すところなくご説明いたしますわ。
まずはJ. Austin et al.のご提案なさったD3PM理論から始まりまして、連続時間定式化や密度比学習による効率化の妙、そしてS. Nie et al.のLLaDAにおける8Bパラメータ級の堂々たる実装まで、その華麗なる進化の軌跡を時系列に沿ってお話ししてまいりますの。
特に、吸収拡散に基づく離散確率過程の優美な設計、スコアエントロピー損失による知的で効率的な学習法、そしてマスク言語モデルとの統一的理解――まぁ、どれも胸が高鳴る重要概念でございますわ！💖
そしてなんとLLaDAは、既存の自己回帰モデルと肩を並べるほどの性能を達成なさったのですわ！ これにより、離散拡散モデルは単なる理論的なお遊びから、堂々たる実用技術へと昇華いたしましたの。
この一篇で、皆さまにもこの新たなパラダイムの全貌と、その背後に秘められた洗練の工夫を、存分に味わっていただけますわよ🌹✨ 

お嬢様でもわかる拡散言語モデル

はじめに - 拡散モデルによる言語生成の華麗なる進展

前提知識 - 自己回帰/マスク言語/拡散モデル

遷移行列に基づく離散拡散モデリング - D3PM

連続時間モデル - A. Campbell et al. & SEDD

理論統合と大規模実装 - RADD & LLaDA

まとめ

参考文献

機械学習

お嬢様

生成ai

拡散言語モデル

VAjwMUyiznwn