概要
初めに
案件の中で共分散分析を使用したデータ分析業務があり、学習の一環として共分散分析について段階的に分かるような記事を作成しました。共分散分析の学習の助けになればと思っております。
本記事の目的
本記事の目的は、ある程度共分散分析についての理解を深めることです。
共分散分析は分散分析（ANOVA）と回帰分析の手法を組み合わせたものであるため、まずは分散分析から学び、次に共変量、最後に共分散分析について学んでいくことにします。
Chat GPT 4oの使用
本記事はChat GPT4oが出力したものに筆者が加筆修正することで作成しています。
主に指示した内容は以下の通りです。二つ目は4. 共分散分析の実例で出力した画像を添付しています。
共分散分析 (ANCOVA)に関して詳細に学習がしたいです。
手順としては以下の4つでお願いします。
注意点としては、各段階ごとに実例とその解説を追加してください
１．分散分析 (ANOVA)について詳しく学ぶ
２．共変量について詳しく学ぶ
３．共分散分析について学ぶ
４．共分散分析の実例
これは各肥料の植物の成長度合いに対する共変量のプロットですが、最も効果のある肥料が何かわかりますか？
多重共線性の定義を教えてください
共分散分析 (ANCOVA) の学習を進めるために、各ステップを実例と解説を含めて詳しく説明します。
1. 分散分析 (ANOVA) について詳しく学ぶ
概要
分散分析 (ANOVA: Analysis of Variance) は、複数のグループ間で平均値に統計的な差があるかを検定する手法です。独立変数（要因）がカテゴリー型であり、従属変数（特性）が連続型のデータに適用されます。
要因とは実験の結果として観測される特性に影響を及ぼしていると思われる処理条件（水準）の違いのことを意味します。以下の実例で言うと、要因が肥料A,B,Cの違いであり、特性は植物の成長量です。
ただ要因の効果の違いを確かめるだけであれば、一見各水準の特性の平均を比較すれば良さそうにも思えますが、実際はそうではありません。肥料の例で言うと、A,B,Cの各肥料を使用した土地の日照や風、雨の量など、求めたい要因以外の様々な要因があります。分散分析ではこれらを誤差要因とし、これを排除した純粋な要因の影響度合いの違いを調べることができます。
実例
- 問題設定: 3つの異なる肥料（A, B, C）が作物の成長に与える影響を調べる。
-
データ:
各肥料を使った10個の作物の成長量（cm）を測定。
# Rコード例
# 特性
growth <- c(21, 22, 19, 20, 23, 24, 21, 22, 20, 23, # 肥料A
19, 18, 20, 17, 16, 18, 19, 18, 17, 19, # 肥料B
25, 26, 24, 27, 26, 25, 26, 27, 26, 25) # 肥料C
# 要因
fertilizer <- rep(c("A", "B", "C"), each = 10)
# データフレーム型に変換
data <- data.frame(growth, fertilizer)
# ANOVA 実施
result <- aov(growth ~ fertilizer, data = data) # 第一引数は(特性 ~ 要因)
summary(result)
実行結果
Df Sum Sq Mean Sq F value Pr(>F)
fertilizer 2 289.9 144.93 89.96 1.15e-12 ***
Residuals 27 43.5 1.61
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
解説
- 帰無仮説: 肥料間で作物の成長に差はない。
- 分散分析表: R の出力で、要因（肥料）の影響が統計的に有意かを確認します。
-
F値:
F = \frac{グループ間の分散(Mean Sq for Factor)}{グループ内の分散(Mean Sq for Residuals)}
この値が大きいほど誤差要因よりも目的の要因の方が影響が大きいことを意味します。 - p値: 帰無仮説が正しいと仮定した場合に観測されたF値以上の値が得られる確率です。
- 結果: p値が有意水準 (例: 0.05) 以下であれば、肥料間に有意差ありと判断します。
fertilizerは肥料が成長量に与える影響を検定したもので、Residuals（残差）は誤差要因によるデータのばらつきを表しています。
Signif. codesは有意性の記号の見本が示されており、上のPr(>F)の欄に"***"とあるため、非常に有意であることを示しています。
2. 共変量について詳しく学ぶ
概要
共変量 (Covariate) とは、従属変数（特性）に影響を与えるが、独立変数（要因）ではない連続型の変数です。共変量を調整することで、主要な効果（独立変数）の純粋な影響を明らかにできます。
誤差要因との違いは特性と要因の関係を示すモデルに含まれるかどうかです。例えば各実験地での日照量を記録して考慮するのであれば共変量として扱われますが、記録していなければモデルが説明できないランダムな要因（誤差要因）として扱われます。誤差要因と違い、共変量は記録したデータを元にして影響を排除するため、正確性が高いです。
なお、調整変数との関係は「共変量⊂調整変数」であり、共変量は調整変数の一種です。
実例
- 問題設定: 肥料の効果を調べる際、土壌の初期栄養レベル（共変量）が成長に影響を与える可能性がある。
-
データ:
各肥料と土壌栄養レベルを測定。
# データ作成
# 土壌が元々持っている栄養レベル
nutrient <- c(3.1, 2.9, 3.0, 3.2, 3.3, 3.1, 2.8, 3.0, 3.2, 3.4, # 肥料A
2.5, 2.4, 2.6, 2.7, 2.8, 2.5, 2.6, 2.5, 2.7, 2.6, # 肥料B
3.5, 3.6, 3.7, 3.4, 3.6, 3.5, 3.8, 3.7, 3.6, 3.5) # 肥料C
data$nutrient <- nutrient
# 共変量の統計的要約
summary(data$nutrient)
実行結果
Min. 1st Qu. Median Mean 3rd Qu. Max.
2.400 2.700 3.100 3.093 3.500 3.800
解説
共変量が従属変数と独立変数の関係に与える影響を制御することで、より精度の高い分析が可能です。
3. 共分散分析について学ぶ
概要
共分散分析 (ANCOVA) は、ANOVA と回帰分析を組み合わせた手法で、共変量の影響を調整しながらグループ間の平均値の差を比較します。
分散分析の拡張版であり、共変量の影響を制御する工程が含まれる分、より正確に実験対象となる要因が特性に与える影響を検証することが可能です。
手順
- 従属変数と共変量の線形関係を回帰分析により確認。
- 共変量を調整して調整済み平均を求め、グループ間の差を検出。
実例
# ANCOVA モデル構築
# 第一引数は(特性 ~ 要因 + 共変量)
ancova_result <- aov(growth ~ fertilizer + nutrient, data = data)
summary(ancova_result)
実行結果
Df Sum Sq Mean Sq F value Pr(>F)
fertilizer 2 289.9 144.93 86.63 3.18e-12 ***
nutrient 1 0.0 0.00 0.00 0.984
Residuals 26 43.5 1.67
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
解説
- モデルでは「肥料」と「土壌栄養レベル」の両方の効果が評価されます。
- ANCOVA は、土壌栄養レベルの影響を統計的に制御しつつ、肥料の効果を明らかにします。
- 分散分析の結果同様、"***"が付記されており、有意性があることを意味する結果となっています。
4. 共分散分析の実例
問題設定
土壌栄養レベルを共変量として考慮し、肥料A, B, Cの効果を分析する。
# 結果の視覚化
library(ggplot2)
ggplot(data, aes(x = nutrient, y = growth, color = fertilizer)) +
geom_point() +
geom_smooth(method = "lm", se = FALSE) +
labs(title = "Growth vs Nutrient Level by Fertilizer",
x = "Soil Nutrient Level",
y = "Growth")
実行結果
`geom_smooth()` using formula = 'y ~ x'
解説
このプロットは肥料の種類（A, B, C）と共変量（土壌栄養レベル）に基づく植物の成長度合い（Growth）を示しています。ここから以下の点を読み取ることができます：
1. 線の傾き（栄養レベルとの相関）
-
肥料A（赤線）:
- 栄養レベルが上がると成長が増加する傾向。
- 正の相関が見られる。
-
肥料B（緑線）:
- 栄養レベルが上がると成長が減少する傾向。
- 負の相関が見られる。
-
肥料C（青線）:
- 栄養レベルによる成長の変化がほとんどない（水平に近い線）。
- 栄養レベルに影響されない。
2. 成長の大きさ（Y軸の位置）
- 肥料C（青線）は最も高い成長量（約25付近）を示しており、栄養レベルに関わらず成長が安定しているように見えます。
- 肥料A（赤線）は中程度の成長量を示し、栄養レベルが高いほど成長が良くなる傾向。
- 肥料B（緑線）は低い成長量を示し、栄養レベルが増えると成長がむしろ悪化する傾向。
3. 最も効果的な肥料
- このプロットから、成長量が最も高く、栄養レベルに影響されず安定している肥料Cが最も効果的と言えます。
結論
肥料Cが植物の成長に対して最もポジティブな影響を与え、栄養レベルによる影響が少ないため、効果的と判断されます。一方で、肥料Aは栄養レベルが高い場合に効果的で、肥料Bは成長に対して負の影響を与える可能性があります。
付録
多重共線性（マルチコ）
共変量が複数ある場合には多重共線性を確認しなければいけません。
多重共線性とは、回帰分析や共分散分析（ANCOVA）において、複数の独立変数（または共変量）が互いに強い相関関係を持つ状況を指します。
簡単に言えば、説明変数（要因または共変量）の中に似たような情報を持つ変数が存在することです。このような状況では、どの変数が従属変数にどの程度影響を与えているかを明確に特定することが難しくなります。
直感的な例
例えば、以下のような場合を考えます：
家の面積と部屋数は通常強い相関があり、どちらも家の価格に影響を与えると考えられます。この場合、両方を回帰モデルに入れると、多重共線性が発生し、どちらの変数が家の価格に影響しているのか区別が難しくなります。
影響
多重共線性があると以下の問題が発生します：
-
回帰係数の不安定性:
- 推定される回帰係数の値が大きく変動しやすくなる。
- モデルがデータの小さな変化に過敏になる。
-
推定値の標準誤差が増加:
- 信頼区間が広がり、p値が大きくなりやすい。
- 本来有意であるべき変数が有意でないと判断されることがある。
-
モデルの解釈が困難:
- どの変数が従属変数に寄与しているのか不明確になる。
-
予測精度の低下:
- モデルの汎化性能（新しいデータに対する予測能力）が低下する。
多重共線性の対処方法
-
高相関の変数を除外:
- 相関の強い変数の中から、1つを選んでモデルに含めます。
-
主成分分析（PCA）:
- 高相関の変数を少数の主成分に要約し、多重共線性を緩和します。
-
正則化回帰（リッジ回帰、LASSO回帰）:
- 正則化を導入して、多重共線性の影響を抑えます。
-
データ収集の改善:
- より多様なデータを収集することで、相関を低減します。
まとめ
- 多重共線性の定義: 独立変数間に強い相関があり、それによって回帰分析や共分散分析の結果が不安定になる状況。
- 影響: 回帰係数の不安定化、標準誤差の増加、モデルの解釈や予測精度の低下。
- 対策: 相関の高い変数の削除、PCA、正則化回帰、データ収集の改善など。
多重共線性の診断と対策を適切に行うことで、分析結果の信頼性を高めることができます。
Discussion