一般化線形モデル入門 第7章 解答例
https://zenn.dev/honwakasan/articles/b9ae08fd8a694e の第7章の解答例です.
演習問題 7.1
説明変数を放射線量, 目的変数を白血病での死亡率 ( = 白血病死亡者数 / 合計死亡者数 ) として, 単変量ロジスティック回帰モデル
つまり,
を構築する. 元のデータセットは以下で作成した.
df = pd.DataFrame(
[
[13, 5, 5, 3, 4, 18],
[378, 200, 151, 47, 31, 33]
]
)
df.columns = [f"放射線量_{v}" for v in ["0", "1-9", "10-49", "50-99", "100-199", "200+"]]
df.index = ["白血病", "その他のがん"]
df.index.name = "死因"
| 死因 | 放射線量_0 | 放射線量_1-9 | 放射線量_10-49 | 放射線量_50-99 | 放射線量_100-199 | 放射線量_200+ |
|---|---|---|---|---|---|---|
| 白血病 | 13 | 5 | 5 | 3 | 4 | 18 |
| その他のがん | 378 | 200 | 151 | 47 | 31 | 33 |
| 合計 | 391 | 205 | 156 | 50 | 35 | 51 |
説明変数と目的変数の設定
なお、ここでは各放射線量ごとの死亡率をそのまま使用し, 「1-9と10-49をまとめて1-49の1つのbinにする」といった処理はせずにモデル構築することを考える.[1] 実際には, 被曝放射線量と白血病死亡率の間には, 「多量の放射線を浴びたかどうか」が関連していると思われるが, そういったことは今は考慮せずにモデルを作ってみる. 以下のコードで, 説明変数と目的変数に分割する.
df_tmp = df.T
y = (df_tmp["白血病"] / df_tmp["合計"]).values
X = np.stack([np.ones(len(y)), list(range(1, 7))])
次に, 対数尤度関数のスコア及び情報行列を求める.
スコアの算出
各被曝放射線量における白血病死亡者数を
となる. 二行目の展開は, ロジスティック回帰モデルであることより従う. パラメータ
となる.
情報行列の算出
情報行列
\begin{aligned} \mathfrak{J}_{jk} &= E[U_j U_k] \\ &= \sum_{i = 1}^N \frac{x_{ij} x_{ik}}{Var(Y_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 \end{aligned}
であるような行列であった. [2] ここでは, 少し注意が必要である. 本文では, 上記のように記載されているのだが, これはあくまで一般化線形モデルの条件を満たす確率変数
今回の問題のように白血病死亡者数
つまり,
であるため, リンク関数と期待値の関係も
となる. 故に, 上記の情報行列も
のように修正される. 偏微分の項については
となり, 分散の項は,
を得る. 以上を修正された情報行列に代入することで,
を得る. 線形成分は定数項を含むので,
更新式の定義
パラメータの更新式として, 次の(4.21)を採用する.
\begin{aligned} \mathbb{b}^{(m)} &= \mathbb{b}^{(m - 1)} + (\mathfrak{J}^{(m - 1)})^{-1}U^{(m - 1)} \\ \end{aligned}
Pythonでのパラメータ最適化
以上で準備が整ったので, 以下のコードで係数を推定する.
def pred_pi(beta, X):
z = beta @ X
return np.exp(z) / (1 + np.exp(z))
# 初期値
beta = np.array([0.0, 0.0])
for _ in range(10):
# piの推定
pi = pred_pi(beta, X) # shape (N,)
# スコアの推定 (2,)
U = np.sum((y - n*pi) * X, axis=1) # Xの各行で重み付き和
# 情報行列の推定 (2x2)
W = n * pi * (1 - pi) # shape (N,)
J = X @ (W[:, None] * X.T) # 2xN @ N×2 = 2x2
beta = beta + np.linalg.inv(J)@U
betaの出力結果は以下になった.
| beta_0 | beta_1 |
|---|---|
| -10.81132773 | 0.97888537 |
係数値が正の値を取ることから, 放射線被曝量と白血病死亡率との間には関連がありそう.[3]
演習問題7.2
(a)
より,
(b)
各テーブル
より,
となる. これは, 任意の
演習問題7.3
問題文のデータを以下で作成する.
data_male = {
("Medicine", "S"): [18,16,7,12,24,16,22,12,22,28],
("Medicine", "T"): [22,23,17,25,50,21,32,14,34,37],
("Arts", "S"): [16,13,11,12,8,11,4,4,None,13],
("Arts", "T"): [30,22,25,14,12,20,10,12,None,23],
("Science", "S"): [9,9,12,12,20,16,25,32,4,25],
("Science", "T"): [14,12,19,15,28,21,31,38,5,31],
("Engineering", "S"): [10,7,12,8,5,1,16,19,None,25],
("Engineering", "T"): [16,11,15,9,7,2,22,25,None,35],
}
index = [1938,1939,1940,1941,1942,1943,1944,1945,1946,1947]
df_male = pd.DataFrame(data_male, index=index)
data_female = {
("Arts","S"): [14, 11, 15, 15, 8, 13, 18, 18, 1, 13],
("Arts", "T"): [19, 16, 18, 21, 9, 13, 22, 22, 1, 16],
("Science", "S"): [1, 4, 6, 3, 4, 8, 5, 16, 1, 10],
("Science", "T"): [1, 4, 7, 3, 4, 9, 5, 17, 1, 10],
}
index = [1938, 1939, 1940, 1941, 1942, 1943, 1944, 1945, 1946, 1947]
df_female = pd.DataFrame(data_female, index = index)
また, 演習問題で使用する関数をあらかじめ書いておく.
def stable_sigmoid(z):
# z = X @ beta の想定
# 正の大きな値で exp(z) がオーバーフローするのを防ぐため、
# zの正負で計算式を分ける
return np.where(
z >= 0,
1 / (1 + np.exp(-z)),
np.exp(z) / (1 + np.exp(z))
)
def update_beta_binom_logit(X, y, n):
# 設定
n_iters = 20
tol = 1e-10
# 初期値
beta = np.zeros(X.shape[1])
for iter_ in range(n_iters):
# 予測確率の計算 (stable_sigmoidは定義済みと仮定)
pi = stable_sigmoid(X @ beta)
# 勾配ベクトル (Score function) U
# U = X.T @ (y - n * pi)
U = X.T @ (y - n * pi)
# 重み行列 W の対角成分
# w_i = n_i * pi_i * (1 - pi_i)
w = n * pi * (1 - pi)
# ヘッセ行列 J = X.T @ W @ X
# (Wは対角行列なので、ブロードキャストを利用して効率的に計算)
J = (X.T * w) @ X
# 更新量の計算 (J * delta_beta = U を解く)
try:
delta_beta = np.linalg.solve(J, U)
except np.linalg.LinAlgError:
print("行列が特異なため、計算を中断します。")
break
beta_new = beta + delta_beta
# 収束判定
diff = np.sum((beta_new - beta)**2)
beta = beta_new
print(f"{iter_ + 1}回目:{beta}")
if diff < tol:
print(f"{iter_ + 1}回目のiterationで終了")
break
# 標準誤差の計算
std_error = np.sqrt(np.diag(np.linalg.inv(J)))
return beta, std_error, pi
def judge_agains_null_hypo(C, dof, alpha):
lower = chi2.ppf(alpha / 2, dof)
upper = chi2.ppf(1 - alpha / 2, dof)
print("lower : ", lower)
print("upper : ", upper)
print("C : ", C)
(a)
男女で収録されている学部のデータが異なるため, それぞれ処理した上で合算する.
# 男性の処理
majors_m = ["Medicine", "Arts", "Science", "Engineering"]
df_male[("all", "S")] = df_male[majors_m].xs("S", axis=1, level=1).fillna(0).sum(axis=1)
df_male[("all", "T")] = df_male[majors_m].xs("T", axis=1, level=1).fillna(0).sum(axis=1)
# 女性の処理
majors_f = ["Arts", "Science"]
df_female[("all", "S")] = df_female[majors_f].xs("S", axis=1, level=1).fillna(0).sum(axis=1)
df_female[("all", "T")] = df_female[majors_f].xs("T", axis=1, level=1).fillna(0).sum(axis=1)
# 結合と整形
df_all = (df_female["all"] + df_male["all"]).reset_index().rename(columns={"index": "year"})
df_dummies = pd.get_dummies(df_all, columns = ["year"], dtype = int, drop_first=True)
男女合算のデータセットに対して2項ロジットを実行し係数を推定する.
X = np.column_stack([np.ones(len(df_dummies)),df_dummies.drop(["S", "T"], axis = 1).values])
y = df_dummies["S"].values
n = df_dummies["T"].values
beta, std_error, pi = update_beta_binom_logit(X, y, n)
さらに, 以下で尤度比カイ二乗検定統計量を計算し, 帰無仮説
つまり, 生存確率は年度に寄らないという仮説を検定する.
pi_tilder = df_all["S"].sum() / df_all["T"].sum()
y_hat = n*pi
C = (y * np.log(y_hat / (n * pi_tilder)) + (n - y) * np.log((n - y_hat) / (n - n * pi_tilder))).sum() * 2
alpha = 0.05
dof = X.shape[1] - 1
print(" ")
judge_agains_null_hypo(C, dof, alpha)
以下の結果を得る. 棄却域の中にCが含まれないので, 帰無仮説は棄却されない. つまり, 「生存割合は全ての卒業年度で同じ」という仮説を否定する根拠は見当たらなかった.[4]
| 項目 | 値 |
|---|---|
| lower | 2.7003894999803584 |
| upper | 19.02276779864163 |
| C(尤度比カイ二乗統計量) | 15.042542482746049 |
(b)
以下のコードで, 生存した男子学生の割合が全ての学部で同じかどうかを分析した.
# 集計と整形を一気に行う
df_wide = (df_male.sum()
.drop("all")
.unstack() # stackの代わり。Seriesのマルチインデックスを解除してDataFrame化
.reset_index().rename(columns={"index":"faculty"})
)
# ダミー変数化
df_dummies = pd.get_dummies(df_wide, columns=["faculty"], dtype=int, drop_first=True)
# データの準備
X = np.column_stack(
[np.ones(len(df_dummies)) ,df_dummies[["faculty_Engineering", "faculty_Medicine", "faculty_Science"]].values]
)
y = df_dummies["S"].values
n = df_dummies["T"].values
# ロジスティック回帰の係数推定
beta, std_error, pi = update_beta_binom_logit(X, y, n)
# 尤度比カイ二乗統計量
y_hat = n * pi
pi_tilder = y.sum() / n.sum()
C = 2 * (y * np.log(y_hat / (n * pi_tilder)) + (n - y) * np.log( (n - y_hat) / (n - n*pi_tilder) ) ).sum()
alpha = 0.05
dof = X.shape[1] - 1
# 帰無仮説の判定
judge_agains_null_hypo(C, dof, alpha)
尤度比カイ2乗統計量は以下のようになり, 帰無仮説が棄却される. つまり, 「ロジスティック回帰における学部の係数が全て0である」という帰無仮説は棄却されるので, 学部によっては生存割合が顕著に異なるものがあることを示唆している.
| 項目 | 値 |
|---|---|
| lower | 0.21579528262389794 |
| upper | 9.348403604496145 |
| C(尤度比カイ二乗統計量) | 23.2589960500619 |
(c)
女子学生を対象に, 生存した割合が文学部と理学部で同じか検証する.
df_wide = (df_female.sum()
.drop("all")
.unstack() # stackの代わり。Seriesのマルチインデックスを解除してDataFrame化
.reset_index().rename(columns={"index":"faculty"})
)
#ダミー変数化
df_dummies = pd.get_dummies(df_wide, columns=["faculty"], dtype=int, drop_first=True)
X = np.column_stack(
[
np.ones(len(df_dummies)), df_dummies["faculty_Science"].values
]
)
n = df_dummies["T"].values
y = df_dummies["S"].values
# IRLSによる推定
beta, std_error, pi = update_beta_binom_logit(X, y, n)
# 尤度比カイ二乗統計量
y_hat = n * pi
pi_tilder = y.sum() / n.sum()
C = 2 * (y * np.log(y_hat / (n * pi_tilder)) + (n - y) * np.log( (n - y_hat) / (n - n*pi_tilder) ) ).sum()
alpha = 0.05
dof = X.shape[1] - 1
# 帰無仮説の判定
judge_agains_null_hypo(C, dof, alpha)
尤度比カイ2乗統計量は以下のようになり, 帰無仮説が棄却される. つまり, 「ロジスティック回帰における文学部と理学部の係数が全て0である」という帰無仮説は棄却されるので, 学部によっては生存割合が顕著に異なるものがあることを示唆している.[5]
| 項目 | 値 |
|---|---|
| lower | 0.0009820691171752555 |
| upper | 5.02388618731489 |
| C(尤度比カイ二乗統計量) | 8.816488778764487 |
(d)
演習問題7.4
(a)
定義通り計算する.
となるので
となる.
(b)
p91より, 逸脱度の標本分布は近似的に
であった.
となる. よって
-
1行目が本来の定義であり, 2行目の導出は本文の(4.20)に記載されているため省略した. ↩︎
-
https://routledge.com/downloads/C9500/C9500_Solutions.pdf には3つの被曝放射線量帯を定義してロジスティック回帰を実行しているため, ここで載せている結果と異なっている. ↩︎
-
本当は標準誤差を求めて係数が0かどうかの検定もやった方が良いのだが, 面倒なので省略 ↩︎
-
当初は卒業年度を連続変数として扱って検定を実施していたが, 卒業年度の係数を検定すると帰無仮説が棄却された. 連続変数とみなすと, 特定の年のみで起きたショックの効果を拾いにくく, ある年だけで起きた制度変更や経済変化などの影響をうまく考慮できない. そのため, カテゴリー変数として採用する方が分析目的に合っていると判断し分析し直した. しかし, 「時系列でのトレンドを捉えたい」とか「年数が何年進むとオッズがどの程度変化するか知りたい」といった場合には, 数値変数として捉えるのが適切かもしれない. ↩︎
-
男女ともに, 理学部の方がどの学部よりも生存割合が高い. ↩︎
Discussion