📝

一般化線形モデル入門 第7章 解答例

に公開
2026/01/12

https://zenn.dev/honwakasan/articles/b9ae08fd8a694e の第7章の解答例です.

演習問題 7.1

説明変数を放射線量, 目的変数を白血病での死亡率 ( = 白血病死亡者数 / 合計死亡者数 ) として, 単変量ロジスティック回帰モデル

\begin{aligned} \pi_i = \frac{\exp(\beta_0 + \beta_1 x_i)}{1 + \exp(\beta_0 + \beta_1 x_i)} \end{aligned}

つまり,

\begin{aligned} \log \left(\frac{\pi_i}{1 - \pi_i} \right) = \beta_0 + \beta_1 x_i \end{aligned}

を構築する. 元のデータセットは以下で作成した.

df = pd.DataFrame(
    [
        [13, 5, 5, 3, 4, 18],
        [378, 200, 151, 47, 31, 33]
    ]
)
df.columns = [f"放射線量_{v}" for v in ["0", "1-9", "10-49", "50-99", "100-199", "200+"]]
df.index = ["白血病", "その他のがん"]
df.index.name = "死因"
死因 放射線量_0 放射線量_1-9 放射線量_10-49 放射線量_50-99 放射線量_100-199 放射線量_200+
白血病 13 5 5 3 4 18
その他のがん 378 200 151 47 31 33
合計 391 205 156 50 35 51

説明変数と目的変数の設定

なお、ここでは各放射線量ごとの死亡率をそのまま使用し, 「1-9と10-49をまとめて1-49の1つのbinにする」といった処理はせずにモデル構築することを考える.[1] 実際には, 被曝放射線量と白血病死亡率の間には, 「多量の放射線を浴びたかどうか」が関連していると思われるが, そういったことは今は考慮せずにモデルを作ってみる. 以下のコードで, 説明変数と目的変数に分割する.

df_tmp = df.T
y = (df_tmp["白血病"] / df_tmp["合計"]).values
X = np.stack([np.ones(len(y)), list(range(1, 7))])

次に, 対数尤度関数のスコア及び情報行列を求める.

スコアの算出

各被曝放射線量における白血病死亡者数を Y_i, 死亡者数を n_i, 白血病死亡率を \Pi_i = Y_i / n_i とする. また, Y_i が二項分布 Bin(n_i, \pi_i) に従うと仮定する. なお, サンプル数 N は N = 6 であることに注意する. すると対数尤度関数は

\begin{aligned} l(\pi_1, \ldots, \pi_N; y_1, \ldots, y_N) &= \sum_{i= 1}^N \left(y_i \log \left(\frac{\pi_i}{1 - \pi_i} \right) + n_i \log(1-\pi_i) + \log {}_{{n_i}}\mathrm{C}_{{y_i}} \right) \\ &= \sum_{i= 1}^N \left( y_i(\beta_0 + \beta_1 x_i) - n_i\log(1 + \exp(\beta_0 + \beta_1 x_i)) + \log {}_{{n_i}}\mathrm{C}_{{y_i}} \right) \\ \end{aligned}

となる. 二行目の展開は, ロジスティック回帰モデルであることより従う. パラメータ \beta_0, \beta_1 で対数尤度関数を偏微分することで, スコアを得る.

\begin{aligned} U_0 &= \frac{\partial l}{\partial \beta_0} \\ &= \sum_{i = 1}^N \left(y_i - n_i \left(\frac{\exp(\beta_0 + \beta_1 x_i)}{1 + \exp(\beta_0 + \beta_1 x_i)} \right) \right) \\ &= \sum_{i = 1}^N \left(y_i - n_i \pi_i \right) \\[2ex] \end{aligned}
\begin{aligned} U_1 &= \frac{\partial l}{\partial \beta_1} \\ &= \sum_{i = 1}^N \left(y_i x_i - n_i x_i \left(\frac{\exp(\beta_0 + \beta_1 x_i)}{1 + \exp(\beta_0 + \beta_1 x_i)} \right) \right) \\ &= \sum_{i = 1}^N \left(y_i - n_i \pi_i \right) x_i \\ \end{aligned}

となる.

情報行列の算出

情報行列 \mathfrak{J} とは, その第 (j,k) 成分が

\begin{aligned} \mathfrak{J}_{jk} &= E[U_j U_k] \\ &= \sum_{i = 1}^N \frac{x_{ij} x_{ik}}{Var(Y_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 \end{aligned}

であるような行列であった. [2] ここでは, 少し注意が必要である. 本文では, 上記のように記載されているのだが, これはあくまで一般化線形モデルの条件を満たす確率変数 Y_i を対象とした場合である.

今回の問題のように白血病死亡者数 Y_i ではなく, 白血病死亡率 \Pi_i を対象とした場合, \Pi_i = Y_i / n_i を一般化線形モデルの仮定を満たす独立な確率変数とみなしている.

つまり,

\begin{aligned} E[\Pi_i] = E \left[\frac{Y_i}{n_i} \right] = \frac{\mu_i}{n_i}= \pi_i \end{aligned}

であるため, リンク関数と期待値の関係も

\begin{aligned} \eta_i = g(\pi_i) = \log \left(\frac{\pi_i}{1 - \pi_i} \right) \end{aligned}

となる. 故に, 上記の情報行列も

\begin{aligned} \mathfrak{J}_{jk} &= E[U_j U_k] \\ &= \sum_{i = 1}^N \frac{x_{ij} x_{ik}}{Var(\Pi_i)} \left( \frac{\partial \pi_i}{\partial \eta_i} \right)^2 \end{aligned}

のように修正される. 偏微分の項については

\begin{aligned} \frac{\partial \eta_i}{\partial \pi_i} &= \frac{1}{\pi_i (1 - \pi_i)} \end{aligned}

となり, 分散の項は, Y_i \sim Bin(n_i, \pi_i) であることから

\begin{aligned} Var(\Pi_i) &= \frac{Var(Y_i)}{n_i^2} \\ &= \frac{n_i \pi_i (1 - \pi_i)}{n_i^2} = \frac{\pi_i (1 - \pi_i)}{n_i} \end{aligned}

を得る. 以上を修正された情報行列に代入することで,

\begin{aligned} \mathfrak{J}_{jk} &= \sum_{i = 1}^N n_i x_{ij} x_{ik} \pi_i (1 - \pi_i) \\ \end{aligned}

を得る. 線形成分は定数項を含むので, x_{i0} = 1, x_{i1} = x_i のように読み替えることで, 次の情報行列を得る.

\mathfrak{J} = \left[ \begin{matrix} \displaystyle \sum_{i = 1}^N n_i \pi_i (1 - \pi_i) & \displaystyle \sum_{i = 1}^N n_i x_i \pi_i (1 - \pi_i) \\ \displaystyle \sum_{i = 1}^N n_i x_i \pi_i (1 - \pi_i) & \displaystyle \sum_{i = 1}^N n_i x_i^2 \pi_i (1 - \pi_i) \end{matrix} \right]

更新式の定義

パラメータの更新式として, 次の(4.21)を採用する.

\begin{aligned} \mathbb{b}^{(m)} &= \mathbb{b}^{(m - 1)} + (\mathfrak{J}^{(m - 1)})^{-1}U^{(m - 1)} \\ \end{aligned}

Pythonでのパラメータ最適化

以上で準備が整ったので, 以下のコードで係数を推定する.

def pred_pi(beta, X):
    z = beta @ X
    return np.exp(z) / (1 + np.exp(z))

# 初期値
beta = np.array([0.0, 0.0])

for _ in range(10):
    # piの推定
    pi = pred_pi(beta, X)  # shape (N,)
    
    # スコアの推定 (2,)
    U = np.sum((y - n*pi) * X, axis=1)  # Xの各行で重み付き和
    
    # 情報行列の推定 (2x2)
    W = n * pi * (1 - pi)  # shape (N,)
    J = X @ (W[:, None] * X.T)  # 2xN @ N×2 = 2x2
    beta = beta + np.linalg.inv(J)@U

betaの出力結果は以下になった.

beta_0 beta_1
-10.81132773 0.97888537

係数値が正の値を取ることから, 放射線被曝量と白血病死亡率との間には関連がありそう.[3]

演習問題7.2

(a)

\beta_1 = \beta_2 のとき \phi_1 を変形すると

\begin{aligned} \pi_1 &= \frac{e^{\beta_1}}{1 + e^{\beta_1}} \\ &= \frac{e^{\beta_2}}{1 + e^{\beta_2}} \\ &= \pi_2 \end{aligned}

より, O_1 = O_2 なので, \phi = 1 を満たす.

(b)

各テーブル j に対する罹患のオッズを O_{ij} とする.

\begin{aligned} O_{1j} &= e^{\alpha_1 + \beta_1 x_j} \\ O_{2j} &= e^{\alpha_1 + \beta_1 x_j} \\ \end{aligned}

より, \beta_1 = \beta_2 のとき

\begin{aligned} \phi_j &= \frac{O_{1j}}{O_{2j}} \\ &= e^{\alpha_1 - \alpha_2} \end{aligned}

となる. これは, 任意の j = 1, \ldots, J に対して, \log \phi_j が一定であることを意味する.

演習問題7.3

問題文のデータを以下で作成する.

data_male = {
    ("Medicine", "S"): [18,16,7,12,24,16,22,12,22,28],
    ("Medicine", "T"): [22,23,17,25,50,21,32,14,34,37],
    ("Arts", "S"): [16,13,11,12,8,11,4,4,None,13],
    ("Arts", "T"): [30,22,25,14,12,20,10,12,None,23],
    ("Science", "S"): [9,9,12,12,20,16,25,32,4,25],
    ("Science", "T"): [14,12,19,15,28,21,31,38,5,31],
    ("Engineering", "S"): [10,7,12,8,5,1,16,19,None,25],
    ("Engineering", "T"): [16,11,15,9,7,2,22,25,None,35],
}

index = [1938,1939,1940,1941,1942,1943,1944,1945,1946,1947]

df_male = pd.DataFrame(data_male, index=index)

data_female = {
    ("Arts","S"): [14, 11, 15, 15, 8, 13, 18, 18, 1, 13],
    ("Arts", "T"): [19, 16, 18, 21, 9, 13, 22, 22, 1, 16],
    ("Science", "S"): [1, 4, 6, 3, 4, 8, 5, 16, 1, 10],
    ("Science", "T"): [1, 4, 7, 3, 4, 9, 5, 17, 1, 10],
}
index = [1938, 1939, 1940, 1941, 1942, 1943, 1944, 1945, 1946, 1947]
df_female = pd.DataFrame(data_female, index = index)

また, 演習問題で使用する関数をあらかじめ書いておく.

def stable_sigmoid(z):
    # z = X @ beta の想定
    # 正の大きな値で exp(z) がオーバーフローするのを防ぐため、
    # zの正負で計算式を分ける
    return np.where(
        z >= 0,
        1 / (1 + np.exp(-z)),
        np.exp(z) / (1 + np.exp(z))
    )


def update_beta_binom_logit(X, y, n):
    
    # 設定
    n_iters = 20
    tol = 1e-10
        
    # 初期値
    beta = np.zeros(X.shape[1])
    
    for iter_ in range(n_iters):
        
        # 予測確率の計算 (stable_sigmoidは定義済みと仮定)
        pi = stable_sigmoid(X @ beta)
        
        # 勾配ベクトル (Score function) U
        # U = X.T @ (y - n * pi)
        U = X.T @ (y - n * pi)
        
        # 重み行列 W の対角成分
        # w_i = n_i * pi_i * (1 - pi_i)
        w = n * pi * (1 - pi)
        
        # ヘッセ行列 J = X.T @ W @ X
        # (Wは対角行列なので、ブロードキャストを利用して効率的に計算)
        J = (X.T * w) @ X
        
        # 更新量の計算 (J * delta_beta = U を解く)
        try:
            delta_beta = np.linalg.solve(J, U)
        except np.linalg.LinAlgError:
            print("行列が特異なため、計算を中断します。")
            break
            
        beta_new = beta + delta_beta
        
        # 収束判定
        diff = np.sum((beta_new - beta)**2)
        beta = beta_new
        
        print(f"{iter_ + 1}回目:{beta}")
        
        if diff < tol:
            print(f"{iter_ + 1}回目のiterationで終了")
            break
            
    # 標準誤差の計算
    std_error = np.sqrt(np.diag(np.linalg.inv(J)))
    return beta, std_error, pi

def judge_agains_null_hypo(C, dof, alpha):
    
    lower = chi2.ppf(alpha / 2, dof)
    upper = chi2.ppf(1 - alpha / 2, dof)
    print("lower : ", lower)
    print("upper : ", upper)
    print("C : ", C)

(a)

男女で収録されている学部のデータが異なるため, それぞれ処理した上で合算する.

# 男性の処理
majors_m = ["Medicine", "Arts", "Science", "Engineering"]
df_male[("all", "S")] = df_male[majors_m].xs("S", axis=1, level=1).fillna(0).sum(axis=1)
df_male[("all", "T")] = df_male[majors_m].xs("T", axis=1, level=1).fillna(0).sum(axis=1)

# 女性の処理
majors_f = ["Arts", "Science"]
df_female[("all", "S")] = df_female[majors_f].xs("S", axis=1, level=1).fillna(0).sum(axis=1)
df_female[("all", "T")] = df_female[majors_f].xs("T", axis=1, level=1).fillna(0).sum(axis=1)

# 結合と整形
df_all = (df_female["all"] + df_male["all"]).reset_index().rename(columns={"index": "year"})
df_dummies = pd.get_dummies(df_all, columns = ["year"], dtype = int, drop_first=True)

男女合算のデータセットに対して2項ロジットを実行し係数を推定する.

X = np.column_stack([np.ones(len(df_dummies)),df_dummies.drop(["S", "T"], axis = 1).values])
y = df_dummies["S"].values
n = df_dummies["T"].values
beta, std_error, pi = update_beta_binom_logit(X, y, n)

さらに, 以下で尤度比カイ二乗検定統計量を計算し, 帰無仮説

H_0 : 年度の係数 = 0

つまり, 生存確率は年度に寄らないという仮説を検定する.

pi_tilder = df_all["S"].sum() / df_all["T"].sum()
y_hat = n*pi
C = (y * np.log(y_hat / (n * pi_tilder)) + (n - y) * np.log((n - y_hat) / (n - n * pi_tilder))).sum() * 2
alpha = 0.05
dof = X.shape[1] - 1
print(" ")
judge_agains_null_hypo(C, dof, alpha)

以下の結果を得る. 棄却域の中にCが含まれないので, 帰無仮説は棄却されない. つまり, 「生存割合は全ての卒業年度で同じ」という仮説を否定する根拠は見当たらなかった.[4]

項目 値
lower 2.7003894999803584
upper 19.02276779864163
C(尤度比カイ二乗統計量) 15.042542482746049

(b)

以下のコードで, 生存した男子学生の割合が全ての学部で同じかどうかを分析した.

# 集計と整形を一気に行う
df_wide = (df_male.sum()
           .drop("all")
           .unstack() # stackの代わり。Seriesのマルチインデックスを解除してDataFrame化
           .reset_index().rename(columns={"index":"faculty"})
           )

# ダミー変数化
df_dummies = pd.get_dummies(df_wide, columns=["faculty"], dtype=int, drop_first=True)

# データの準備
X = np.column_stack(
    [np.ones(len(df_dummies)) ,df_dummies[["faculty_Engineering", "faculty_Medicine", "faculty_Science"]].values]
)
y = df_dummies["S"].values
n = df_dummies["T"].values

# ロジスティック回帰の係数推定
beta, std_error, pi = update_beta_binom_logit(X, y, n)

# 尤度比カイ二乗統計量
y_hat = n * pi
pi_tilder = y.sum() / n.sum()
C = 2 * (y * np.log(y_hat / (n * pi_tilder)) + (n - y) * np.log( (n - y_hat) / (n - n*pi_tilder) ) ).sum()
alpha = 0.05
dof = X.shape[1] - 1

# 帰無仮説の判定
judge_agains_null_hypo(C, dof, alpha)

尤度比カイ2乗統計量は以下のようになり, 帰無仮説が棄却される. つまり, 「ロジスティック回帰における学部の係数が全て0である」という帰無仮説は棄却されるので, 学部によっては生存割合が顕著に異なるものがあることを示唆している.

項目 値
lower 0.21579528262389794
upper 9.348403604496145
C(尤度比カイ二乗統計量) 23.2589960500619

(c)

女子学生を対象に, 生存した割合が文学部と理学部で同じか検証する.

df_wide = (df_female.sum()
           .drop("all")
           .unstack() # stackの代わり。Seriesのマルチインデックスを解除してDataFrame化
           .reset_index().rename(columns={"index":"faculty"})
           )

#ダミー変数化
df_dummies = pd.get_dummies(df_wide, columns=["faculty"], dtype=int, drop_first=True)

X = np.column_stack(
    [
        np.ones(len(df_dummies)), df_dummies["faculty_Science"].values
    ]
)
n = df_dummies["T"].values
y = df_dummies["S"].values

# IRLSによる推定
beta, std_error, pi = update_beta_binom_logit(X, y, n)

# 尤度比カイ二乗統計量
y_hat = n * pi
pi_tilder = y.sum() / n.sum()
C = 2 * (y * np.log(y_hat / (n * pi_tilder)) + (n - y) * np.log( (n - y_hat) / (n - n*pi_tilder) ) ).sum()
alpha = 0.05
dof = X.shape[1] - 1

# 帰無仮説の判定
judge_agains_null_hypo(C, dof, alpha)

尤度比カイ2乗統計量は以下のようになり, 帰無仮説が棄却される. つまり, 「ロジスティック回帰における文学部と理学部の係数が全て0である」という帰無仮説は棄却されるので, 学部によっては生存割合が顕著に異なるものがあることを示唆している.[5]

項目 値
lower 0.0009820691171752555
upper 5.02388618731489
C(尤度比カイ二乗統計量) 8.816488778764487

(d)

演習問題7.4

\mathbb{b}_{min} を最小モデルにおける最尤推定量, \mathbb{b}_{max} を最大モデルにおける最尤推定量, \mathbb{b} を一般的なモデル(係数がp個の場合)における最尤推定量とする.

(a)

定義通り計算する. D_0,\,D_1 をそれぞれ最小モデルの逸脱度, 一般的なモデルの逸脱度とする.

\begin{aligned} D_0 &= 2(l(\mathbb{b}_{max}; \mathbb{y}) - l(\mathbb{b}_{min}; \mathbb{y})) \\ D_1 &= 2(l(\mathbb{b}_{max}; \mathbb{y}) - l(\mathbb{b}; \mathbb{y}) ) \end{aligned}

となるので

\begin{aligned} D_0 - D_1 &= 2 (l(\mathbb{b}; \mathbb{y}) - l(\mathbb{b}_{min}; \mathbb{y})) \\ &= C \end{aligned}

となる.

(b)

p91より, 逸脱度の標本分布は近似的に

D \sim \chi^2 (m - p)

であった. m は full model におけるパラメータ数であり, m = N である. そこで, 一般的なモデルの場合, パラメータ数は p であり, 最小モデルの場合, パラメータ数は 1 であるので

D_0 \sim \chi^2 (N - 1)
D_1 \sim \chi^2 (N - p)

となる. よって

D_0 - D_1 \sim \chi^2 (p - 1).

脚注
  1. 1行目が本来の定義であり, 2行目の導出は本文の(4.20)に記載されているため省略した. ↩︎

  2. https://routledge.com/downloads/C9500/C9500_Solutions.pdf には3つの被曝放射線量帯を定義してロジスティック回帰を実行しているため, ここで載せている結果と異なっている. ↩︎

  3. 本当は標準誤差を求めて係数が0かどうかの検定もやった方が良いのだが, 面倒なので省略 ↩︎

  4. 当初は卒業年度を連続変数として扱って検定を実施していたが, 卒業年度の係数を検定すると帰無仮説が棄却された. 連続変数とみなすと, 特定の年のみで起きたショックの効果を拾いにくく, ある年だけで起きた制度変更や経済変化などの影響をうまく考慮できない. そのため, カテゴリー変数として採用する方が分析目的に合っていると判断し分析し直した. しかし, 「時系列でのトレンドを捉えたい」とか「年数が何年進むとオッズがどの程度変化するか知りたい」といった場合には, 数値変数として捉えるのが適切かもしれない. ↩︎

  5. 男女ともに, 理学部の方がどの学部よりも生存割合が高い. ↩︎

Discussion