🦆

PyMC 入門 (3)

に公開

PyMC 入門(2) の続きです。引き続き「Pythonによるベイズ統計モデリング」を読んでいきます。第3章からです。

コードはサポートサイトから入手可能ですが、PyMC 5 に対応していないので、適宜手直ししながら読みます。

第3章

とりあえず色々インポートします。

# Standard imports
import numpy as np
from scipy import stats
import arviz as az
import matplotlib.pyplot as plt
import japanize_matplotlib
import seaborn as sns
import pandas as pd
RANDOM_SEED = 8927
rng = np.random.default_rng(RANDOM_SEED)
np.set_printoptions(2)

# PyMC imports
import pymc as pm

%matplotlib inline

pm.__version__  # ==> '5.15.1'

正規分布での推定

まず次のようなデータがあるとします。ヒストグラムではなく kde プロットで表示するので正規分布らしさが分かりやすいです。

data = np.array([51.06, 55.12, 53.73, 50.24, 52.05, 56.40, 48.45, 52.34,
55.65, 51.49, 51.86, 63.43, 53.00, 56.09, 51.93, 52.31, 52.33, 57.48, 
57.44, 55.14, 53.93, 54.62, 56.09, 68.58, 51.36, 55.47, 50.73, 51.94, 
54.95, 50.39, 52.91, 51.50, 52.68, 47.72, 49.73, 51.82, 54.99, 52.84, 
53.19, 54.52, 51.46, 53.73, 51.61, 49.81, 52.42, 54.30, 53.84, 53.16])

sns.kdeplot(data)

これをとりあえず単純な正規分布として推定します。

\mu\sim\text{Uniform}(l,h),\; \sigma\sim\text{HalfNormal}(\sigma_\sigma),\; y\sim\text{Normal}(\mu,\sigma)

引数の与え方が PyMC3 から変わっています(sd → sigma)

with pm.Model() as model_g:
  mu = pm.Uniform('mu', 40, 75)
  sigma = pm.HalfNormal('sigma', sigma=10)
  y = pm.Normal('y', mu=mu, sigma=sigma, observed=data)

pm.model_to_graphviz(model_g)

MCMC を実行します。7秒ちょっとで終わりました。

%%time
with model_g:
    trace_g = pm.sample(draws=1000, tune=100, chains=4, random_seed=123,
                       nuts_sampler='numpyro', target_accept=0.8)

pm.plot_trace(trace_g)
plt.tight_layout()

トレースプロットを見る限り、問題なさそうです。

予測事後分布のプロットですが、教科書では自力でプロットしていますが、arviz がいい感じにプロットしてくれます。(実はコーディング時間の大半は、いい感じのプロットを出すのに費やしてる、とも言えます。)

y_pred = pm.sample_posterior_predictive(trace_g, model=model_g)
az.plot_ppc(y_pred, alpha=0.1)

頑健推論

上のグラフを見ると分かるように、推定分布は外れ値の影響を受けて正規分布の分散 \sigma が大きく見積もられてしまっています。これを改善するために、外れ値に強いモデルである Student の t 分布に交換します。

with pm.Model() as model_t:
  mu = pm.Uniform('mu', 40, 75)
  sigma = pm.HalfNormal('sigma', sigma=10)
  nu = pm.Exponential('nu', 1/30)
  y = pm.StudentT('y', mu=mu, sigma=sigma, nu=nu, observed=data)

pm.model_to_graphviz(model_t)

同様に試します。今回は20秒ぐらいです。

%%time
with model_t:
    trace_t = pm.sample(draws=1000, tune=100, chains=4, random_seed=123,
                       nuts_sampler='numpyro', target_accept=0.8)

pm.plot_trace(trace_t)
plt.tight_layout()

\nu の値が安定してないのかな?、と \hat{R} を確認してみましたが、特に問題はなさそう。

print((az.rhat(trace_t) > 1.01).sum())

<xarray.Dataset> Size: 24B
Dimensions:  ()
Data variables:
    mu       int64 8B 0
    nu       int64 8B 0
    sigma    int64 8B 0

予測事後分布をプロットします。

y_pred = pm.sample_posterior_predictive(trace_t, model=model_t)
az.plot_ppc(y_pred, alpha=0.1, num_pp_samples=100)

t 分布は裾が重く、大きな外れ値も生成するので、そのままでは予測事後分布のプロットはこんな感じになってしまいます。

こんな感じに、予め ax を指定して細かく表示を制御するしか無いようです。

fig, ax = plt.subplots(figsize=(10, 6))
ax.set_xlim(40, 70)
az.plot_ppc(y_pred, ax=ax, num_pp_samples=100, kind="kde")
plt.show()

分散が妥当な値になって、結果は改善しました。パラメータは下記のようになります。

pm.summary(trace_t)

混合ガウス分布モデル

ところで元の観測データは、大きな正規分布1つに、小さな正規分布が2つあるようにも見えます。また、この小さな正規分布が悪さをしているので、t 分布に変更する必要がありました。

という訳で、7章の内容を先取りする感じになりますが、混合正規分布で推定を試みてみます。

  • w: ディリクレ分布を使って混合比 w_i を決める
  • mu: 各正規分布の平均 \mu_i を決める
    * transform=pm.distributions.transforms.ordered は \mu_0 \leq \mu_1 \leq \mu_2 という制約を守るために重要(これは教科書には載ってないので新機能?)。
  • sigma: 各正規分布の標準偏差 \sigma_i を決める
  • y: よく使われるので混合正規分布は予め用意されている
f(x\mid w,\mu,\sigma) = \sum_{i=0}^2 w_i \mathcal{N}(x\mid \mu_i,\sigma_i)
N_cluster = 3
with pm.Model() as model_mg:
  w = pm.Dirichlet('p', a=np.ones(N_cluster))
  mu = pm.Normal('means', mu=data.mean(), sigma=10, shape=N_cluster,
  transform=pm.distributions.transforms.ordered, initval=[52, 63, 69])
  sigma = pm.HalfNormal('sigma', 10, shape=N_cluster)
  y = pm.NormalMixture('y', w=w, mu=mu, sigma=sigma, observed=data)

pm.model_to_graphviz(model_mg)

MCMC を実行します。7秒ぐらいでした。

%%time
with model_mg:
    trace_mg = pm.sample(draws=10000, tune=1000, chains=4, random_seed=123,
                       nuts_sampler='numpyro', target_accept=0.8)

pm.plot_trace(trace_mg)
plt.tight_layout()

事後分布はこんな感じ。

y_pred = pm.sample_posterior_predictive(trace_mg, model=model_mg)
fig, ax = plt.subplots(figsize=(10, 6))
ax.set_xlim(40, 70)
az.plot_ppc(y_pred, ax=ax, num_pp_samples=200, kind="kde")  # 他のオプションも追加可能
plt.show()

収束も良好。

print((az.rhat(trace_mg) > 1.01).sum())

xarray.Dataset> Size: 24B
Dimensions:  ()
Data variables:
    means    int64 8B 0
    p        int64 8B 0
    sigma    int64 8B 0

フォレストプロットを見ても、真ん中の小さな山はともかく、左右の山はちゃんと認識出来てるようです。

ax = pm.plot_forest(trace_mg, combined=True, hdi_prob=0.95, r_hat=True,
                     var_names=['means'])
plt.tight_layout();

グループ間の比較

この節では、グループ間の平均値の差について考察する方法について学びます。

チップの金額についてのデータセットがあります。

tips = sns.load_dataset('tips')
y = tips['tip'].values
idx = pd.Categorical(tips['day']).codes
tips.head()

プロットはこんな感じになります。

sns.violinplot(x='day', y='tip', data=tips)
plt.show()

各分布をそれぞれ正規分布で推定します(MCMC 使うまでも無い作業ではありますが)。

with pm.Model() as comparing_groups:
  means = pm.Normal('means', mu=0, sigma=10, shape=len(set(idx)))
  sigmas = pm.HalfNormal('sigmas', sigma=10, shape=len(set(idx)))
  y = pm.Normal('y', mu=means[idx], sigma=sigmas[idx], observed=y)
pm.model_to_graphviz(comparing_groups)
%%time
with comparing_groups:
    trace_cg = pm.sample(draws=1000, tune=100, chains=4, random_seed=123,
                       nuts_sampler='numpyro', target_accept=0.8)

pm.plot_trace(trace_cg)
plt.tight_layout()

ax = pm.plot_forest(trace_cg, combined=True, hdi_prob=0.95, r_hat=True,
                     var_names=['means'])
plt.tight_layout();

ここで、means[3]だけが有意に大きいように見えます。それについて議論するために教科書では Cohen の d という値を用いて議論しています。

d = \frac{\Delta\mu}{\bar{\sigma}}=\frac{\mu_i-\mu_j}{\sqrt{\frac{\sigma_i^2+\sigma_j^2}{2}}}

Cohenのd(Cohen's d)は、2つの集団の平均値の差を標準偏差で標準化した効果量(effect size)の指標です。これは、平均値の差がデータのばらつき(変動)に対してどの程度大きいかを示し、サンプルサイズに依存せず、統計的有意差(p値)だけではわからない「実質的な差の大きさ」を定量的に評価します。

解釈の目安(コーエンの基準):

  • d = 0.2: 小さな効果 (Small)。差は小さいが検出可能。
  • d = 0.5: 中程度の効果 (Medium)。実感しやすい差。
  • d = 0.8: 大きな効果 (Large)。明確に大きな差。

本当は事後予測分布から綺麗なプロットを作ると良いのでしょうが(教科書ではそうしてる)、ここでは簡単のために要約統計量から Cohen's d を計算します。

summary = pm.summary(trace_cg)['mean']
for i in range(0,3):
    for j in range(i+1, 4):
        delta_mu = summary[f'means[{i}]']-summary[f'means[{j}]']
        cohen_d = (delta_mu) / \
          np.sqrt((summary[f'sigmas[{i}]']**2+summary[f'sigmas[{i}]']**2)/2)
        print(f'i={i}, j={j}, mu_{i}-mu_{j}={delta_mu:.3f}, cohen-d={cohen_d:.3f}')
i=0, j=1, mu_0-mu_1=0.034, cohen-d=0.027
i=0, j=2, mu_0-mu_2=-0.223, cohen-d=-0.176
i=0, j=3, mu_0-mu_3=-0.488, cohen-d=-0.386
i=1, j=2, mu_1-mu_2=-0.257, cohen-d=-0.234
i=1, j=3, mu_1-mu_3=-0.522, cohen-d=-0.476
i=2, j=3, mu_2-mu_3=-0.265, cohen-d=-0.160

この値を見る限り、差があるとしても小〜中程度の差であると言えます。

階層モデル

この説では、階層モデルとは何かと、その取り扱い方について学びます。

この節では以下の様なテストデータを生成し、それを階層モデルで説明します。

  • 街が3つあって、それぞれから N_sample=[30,30,30] サンプルを取得する。
  • それらのサンプルは良品/不良品の 1/0 の値を持つ。データの生成時には良品の数を G_sample=[18,3,3] の様に与える。

データの生成過程はこんなコードになります。data は 0 or 1 が書かれた1次元配列です。

N_samples = [30, 30, 30]
G_samples = [18, 3, 3]

group_idx = np.repeat(np.arange(len(N_samples)), N_samples)
data = []
for i in range(0, len(N_samples)):
  data.extend(np.repeat([1, 0], [G_samples[i], N_samples[i]- G_samples[i]]))

これを階層モデルでモデル化します、各街はそれぞれの良品率を持っているが、それら各良品率は共通のパラメタから生成され、各街の良品率は緩くお互いに関係している、というのが階層モデルとなります。

具体的なモデルはこんな感じになります。各 \{\theta_i\}_{i=0}^2 は共通の \alpha, \beta でパラメタ化されるベータ分布 B(\alpha,\beta) から生成されます。\alpha, \beta はまぁ適当に裾が長めの非負分布から。最後に y は \theta_i でパラメタ化されるベルヌーイ分布から生成されます。

with pm.Model() as model_h:
  alpha = pm.HalfCauchy('alpha', beta=10)
  beta = pm.HalfCauchy('beta', beta=10)
  theta = pm.Beta('theta', alpha, beta, shape=len(N_samples))
  y = pm.Bernoulli('y', p=theta[group_idx], observed=data)
pm.model_to_graphviz(model_h)

MCMC を実行。

%%time
with model_h:
    trace_h = pm.sample(draws=1000, tune=100, chains=4, random_seed=123,
                       nuts_sampler='numpyro', target_accept=0.8)

pm.plot_trace(trace_h)
plt.tight_layout()
pm.summary(trace_mg)

真の値は \theta_0=0.6, \theta_1=\theta_2=0.1 ですから、推定値は \bar{\theta}=\frac13\sum_i\theta_i に近い方向に「収縮」していることがわかります。また、\theta_i のばらつきによる不確実さを反映して \alpha, \beta も小さな値となっています。G_sample=[18,18,18] とすると、\alpha=26.17, \beta=17.73 と大きな値(30 < \alpha+\beta < 90)となります。サンプル数が30でもなく90でもなく、3つのモデルが緩く結合してるのを反映した感じです。

第3章はこんな感じです。第4章以降はまた別の記事で。

Discussion