テキスト：ゼロから作るDeep Learning ❺ ―生成モデル編

• 音読しつつ、メモを取る
• 時々、脱線する

書いたコードは、0-tsuku-5-note.ipynb としてあげてあり、説明が加わっている場合がある。

まえがき

• 本書の対象は、拡散モデルや画像生成AI（LLMは対象外）
  • 例えば：Stable Diffusion Online
• oreilly-japan/deep-learning-from-scratch-5

技術の細部にこそ面白さは詰まっています

1.1 確率の基礎

1.1.1 確率変数と確率分布

サイコロの目の確率分布のような、一様分布を含む離散型確率分布一般は、以下の2つの条件を満たす：

1. 各値の発生する確率は、すべて0以上1以下
2. すべての確率の和は1

確率を確率密度、和を積分と言い換えれば、連続型確率分布の定義となる。

1.1.2 確率分布の種類

連続型確率分布において、確率変数の値をある一点に定めた場合のその確率は、（確率変数の取りうる無限の値の和が1となることから）0となる。この（0となってしまう）確率の代わりに、確率密度を用いることで、確率変数の値の相対的な出やすさを表す。

• 11-4. 確率密度と確率密度関数

1.1.3 期待値と分散

期待値は、確率分布の特徴を示す

確率分布の期待値がわかると、その分布の中心傾向（長期的な観測により平均に近づくことから、特定の値が平均的に大きいかどうかなど）がわかる。

分散は、確率分布の特徴を示す

確率分布の分散がわかると、その分布の値の散らばり具合がわかる。なぜなら分散は、偏差（各値の期待値からの離れ具合）を（正負の偏差を相殺しないため）二乗した値の平均であるため。単位のずれが気になるなら、標準偏差を用いれば良い。

1.2 正規分布

1.2.1 正規分布の確率密度関数

\mathcal{N}(x;\mu, \sigma) = \frac{1}{\sqrt{2\pi}\sigma} exp(-\frac{(x - \mu)^2}{2\sigma^2})

1.2.2 正規分布のコード

1.2.3 パラメータの役割

1.3 中心極限定理

ある確率分布のサンプル平均の分布は、初めに考えた確率分布の平均、および分散をサンプル平均の個数で割った値に関する正規分布に近づく。

中心極限定理は統計学で最も美しい定理の一つ

サンプル和は、初めに考えた確率分布の平均の和、および分散の和に関する正規分布となる。