📊

混合分布を理解する：サンプリング方法で変わる確率分布

に公開
Julia
math
statistics
probability
idea

はじめに

統計学において、「どのようなサンプリングをしているのか」を正確に理解することは非常に重要です。サンプリング方法が異なれば、得られる確率分布も異なります。

以下の問題は@TubeSolingさんのX（旧Twitter）の投稿から引用しています。

この問題は、混合分布（Mixture Distribution） と 確率変数の和の分布 の違いを理解するのに最適な例題です。

どのようなサンプリングを考えているか？

七海さんの考えを理解するために、まず正規分布の再生性を確認しましょう。正規分布の再生性とは、独立な正規分布の和が再び正規分布になる性質のことです。

具体的には：

  • X \sim N(\mu_X, \sigma_X^2)、Y \sim N(\mu_Y, \sigma_Y^2) が独立のとき
  • X + Y \sim N(\mu_X + \mu_Y, \sigma_X^2 + \sigma_Y^2)

七海さんの計算は、この性質を用いて (X+Y)/2 の分布を求めています。しかし、七海さんが想定しているサンプリングは何でしょうか？

実は、「日本人の身長」を測定する方法には、少なくとも2通りの異なるサンプリング方法が考えられます。そして、サンプリング方法が異なれば、得られる確率分布も異なるのです。

2つの異なるサンプリング方法

男性の身長 X \sim N(170, 5^2)、女性の身長 Y \sim N(160, 6^2) として、以下の2つのサンプリング方法を考えてみましょう。

サンプリング方法1：男女ペアの平均身長

これは「ある男性の身長とある女性の身長の平均」を測定するサンプリングです。つまり：

  • 男女ペアを無作為に選び、その2人の平均身長を測定する
  • 例：男性が175cm、女性が158cmなら (175+158)/2 = 166.5 cm

この場合、正規分布の再生性より：

Z = \frac{X+Y}{2} \sim N\left(165, \frac{5^2+6^2}{4}\right) = N\left(165, \frac{61}{4}\right)

つまり：

\sigma_Z = \sqrt{\frac{61}{4}} = \frac{\sqrt{61}}{2} \approx 3.905 \text{ cm}

このサンプリング方法は、「男女ペアの平均」という特殊な状況を表しています。

サンプリング方法2：日本人1人の身長（ガウス混合モデル）

これは「無作為に選んだ日本人1人の身長」を測定するサンプリングです。つまり：

  • 日本人を1人選ぶ（50%の確率で男性、50%の確率で女性）
  • その人の身長を測定する

このサンプリング方法こそが、問題文で想定されている状況です。

この確率分布はガウス混合モデル（Gaussian Mixture Model, GMM）と呼ばれ：

G = \begin{cases} X & \text{確率} \frac{1}{2} \\ Y & \text{確率} \frac{1}{2} \end{cases}

確率密度関数は：

f_G(x) = \frac{1}{2}f_X(x) + \frac{1}{2}f_Y(x)

この分布は正規分布ではありません（2つの正規分布のピークを持つ双峰性の可能性があります）。

ガウス混合モデルの平均と標準偏差の計算

GMMの確率密度関数 f_G(x) = \frac{1}{2}f_X(x) + \frac{1}{2}f_Y(x) が与えられているので、期待値の定義から直接計算できます。

平均の計算

\begin{aligned} E[G] &= \int_{-\infty}^{\infty} x f_G(x) dx \\ &= \int_{-\infty}^{\infty} x \left(\frac{1}{2}f_X(x) + \frac{1}{2}f_Y(x)\right) dx \\ &= \frac{1}{2}\int_{-\infty}^{\infty} x f_X(x) dx + \frac{1}{2}\int_{-\infty}^{\infty} x f_Y(x) dx \\ &= \frac{1}{2}E[X] + \frac{1}{2}E[Y] \\ &= \frac{1}{2} \cdot 170 + \frac{1}{2} \cdot 160 = 165 \text{ cm} \end{aligned}

これは線形性により、混合比率で重み付けした平均となります。

分散の計算

\begin{aligned} E[G^2] &= \int_{-\infty}^{\infty} x^2 f_G(x) dx \\ &= \frac{1}{2}\int_{-\infty}^{\infty} x^2 f_X(x) dx + \frac{1}{2}\int_{-\infty}^{\infty} x^2 f_Y(x) dx \\ &= \frac{1}{2}E[X^2] + \frac{1}{2}E[Y^2] \end{aligned}

ここで、E[X^2] = \text{Var}(X) + (E[X])^2 = 25 + 170^2 = 28925、

同様に E[Y^2] = 36 + 160^2 = 25636 より：

\begin{aligned} E[G^2] &= \frac{1}{2} \cdot 28925 + \frac{1}{2} \cdot 25636 \\ &= 14462.5 + 12818 \\ &= 27280.5 \end{aligned}

したがって：

\begin{aligned} \text{Var}(G) &= E[G^2] - (E[G])^2 \\ &= 27280.5 - 165^2 \\ &= 27280.5 - 27225 \\ &= 55.5 = \frac{111}{2} \end{aligned}
\sigma_G = \sqrt{\frac{111}{2}} \approx 7.450 \text{ cm}

別解：条件付き期待値による計算

確率変数の性質を用いた計算も可能です。

分散の計算：

\text{Var}(G) = E[(G - 165)^2]

条件付き期待値の公式より：

\text{Var}(G) = \frac{1}{2}E[(X - 165)^2] + \frac{1}{2}E[(Y - 165)^2]

ここで、X - 165 = (X - 170) + 5 より：

\begin{aligned} E[(X - 165)^2] &= E[(X - 170)^2 + 10(X - 170) + 25] \\ &= E[(X - 170)^2] + 10E[X - 170] + 25 \\ &= \sigma_X^2 + 0 + 25 = 25 + 25 = 50 \end{aligned}

同様に、Y - 165 = (Y - 160) - 5 より：

\begin{aligned} E[(Y - 165)^2] &= E[(Y - 160)^2 - 10(Y - 160) + 25] \\ &= \sigma_Y^2 + 0 + 25 = 36 + 25 = 61 \end{aligned}

したがって：

\text{Var}(G) = \frac{1}{2} \cdot 50 + \frac{1}{2} \cdot 61 = 25 + 30.5 = 55.5 = \frac{111}{2}

両方の方法で同じ結果が得られることが確認できました。

七海さんの考えの問題点

七海さんの考えを整理すると、以下の点が明らかになります：

  1. サンプリング方法の取り違え：七海さんは「男女ペアの平均」を計算する (X+Y)/2 のサンプリングを考えているが、実際に求めるべきは「日本人1人」をサンプリングするガウス混合モデル G
  2. 分布の形の違い：混合分布は正規分布にはならない（2つの正規分布の重ね合わせとなり、場合によっては双峰性を持つ）
  3. 標準偏差の値の違い：正しい標準偏差は約7.45cmであり、七海さんの計算した3.9cmとは大きく異なる

Juliaによる検証

実際にJuliaで計算してみましょう。

using Distributions

X = Normal(170, 5)   # 男性の身長の確率分布
Y = Normal(160, 6)   # 女性の身長の確率分布

# 誤った方法：(X+Y)/2
Z = 1/2 * convolve(X, Y)
println("(X+Y)/2: 平均=$(mean(Z)), 標準偏差=$(std(Z))")

# 正しい方法：ガウス混合モデル
G = MixtureModel([X, Y], [0.5, 0.5])
println("GMM: 平均=$(mean(G)), 標準偏差=$(std(G))")

# 理論値の確認
println("理論値: √(111/2) = $(sqrt(111/2))")

出力：

(X+Y)/2: 平均=165.0, 標準偏差=3.905124837953327
GMM: 平均=165.0, 標準偏差=7.44983221287567
理論値: √(111/2) = 7.44983221287567

理論値と数値計算が完全に一致していることが確認できました。

まとめ

この問題から学べることは：

  • サンプリング方法を明確にする：「男女ペアの平均」と「日本人1人」では、サンプリング方法が全く異なる
  • 正規分布の再生性：独立な正規分布の和に適用される性質であり、混合分布には適用できない
  • 混合分布の特徴：複数の分布から確率的に選択される分布で、群間の差が分散に大きく寄与する
  • モデル選択の重要性：実際の問題では、どのようなサンプリングを考えているかを明確にし、適切なモデルを選択する必要がある

統計モデリングにおいて、「どのようなサンプリングをしているのか」「どのような確率変数を扱っているのか」を正確に理解することは、正しい分析の第一歩です。

参考文献

GitHubで編集を提案

Discussion