問題演習で使えそうだったので計算したのですが，あまり他のサイトに載っていなかったので記事にしました．
仮定
r.v. \{X\}_{i=1,...,n}. \quad \text{* 独立ではない}
結論
\text{Var}\left(\sum_{i=1}^n X_i\right) = \sum_{i=1}^n \text{Var}(X_i) + 2\sum_{i=1}^{n-1}\sum_{j=i+1}^n \text{Cov}(X_i, X_j)
証明
n = 2の時
\begin{align*}
V(X+Y)
&=
E[((X+Y) - E[X+Y])^2]
\\
&=
E\left[(X - E[X])^2 + (Y - E[Y])^2 + 2(X - E[X])(Y - E[Y])\right]
\\
&=
V(X)+V(Y)+2Cov(X,Y)
\end{align*}
n = 3の時
\begin{align*}
\mathbb{V}(X_1 + X_2 + X_3)
&=
\mathbb{V}(X_1 + X_2) + \mathbb{V}(X_3) + 2\text{Cov}(X_1 + X_2, X_3)
\\
&=
\mathbb{V}(X_1)+\mathbb{V}(X_2)+2\text{Cov}(X_1, X_2)+ \mathbb{V}(X_3) + 2\text{Cov}(X_1 + X_2, X_3) \cdots (1)
\end{align*}
この時，以下が成り立つ．
\begin{align*}
\text{Cov}(X_1 + X_2, X_3)
&=
\mathbb{E}[
((X_1 + X_2) - \mathbb{E}[X_1 + X_2])\cdot
(X_3 - \mathbb{E}[X_3])
]
\\
&=
\mathbb{E}[
\big(
(X_1 - \mathbb{E}[X_1])
+ (X_2 - \mathbb{E}[X_2])
\big)
\cdot
(X_3 - \mathbb{E}[X_3])
]
\\
&=
\mathbb{E}[
(X_1 - \mathbb{E}[X_1])
(X_3 - \mathbb{E}[X_3])
+
(X_2 - \mathbb{E}[X_2])
(X_3 - \mathbb{E}[X_3])
]
\\
&=
\mathbb{E}[
(X_1 - \mathbb{E}[X_1])
(X_3 - \mathbb{E}[X_3])
]
+
\mathbb{E}[
(X_2 - \mathbb{E}[X_2])
(X_3 - \mathbb{E}[X_3])
]
\\
&=
\text{Cov}(X_1, X_3)
+
\text{Cov}(X_2, X_3)
\cdots (2)
\end{align*}
以上より，(2)を(1)に代入すると，
\begin{align*}
\mathbb{V}(X_1 + X_2 + X_3)
&=
\mathbb{V}(X_1)+\mathbb{V}(X_2)+2\text{Cov}(X_1, X_2)+ \mathbb{V}(X_3) + 2\text{Cov}(X_1 + X_2, X_3) \cdots (1)
\\
&=
\mathbb{V}(X_1)+\mathbb{V}(X_2)+\mathbb{V}(X_3)
+2 \big(
\text{Cov}(X_1, X_2)
+\text{Cov}(X_2, X_3)
+\text{Cov}(X_3, X_1)
\big)
\end{align*}
nの場合
同様にして，nの場合も示すことができ，以下の式を得る．
\mathbb{V}\left(\sum_{i=1}^n X_i\right) = \sum_{i=1}^n \mathbb{V}(X_i) + 2\sum_{i=1}^{n-1}\sum_{j=i+1}^n \text{Cov}(X_i, X_j)
おまけ
この証明を考えるきっかけになったのは現代数理統計学の基礎という本の第5章問11でした．(以下の公式サイトのリンクで問題と解答を閲覧することができます)
問題と解答のリンク
この問題では平均二乗収束を使ったりして解くことができるのですが，よくみたら
\begin{align*}
\mathbb{V}\left(\sum_{i=1}^n X_i\right)
&=
\sum_{i=1}^n \mathbb{V}(X_i)
+ 2\sum_{i=1}^{n-1}\sum_{j=i+1}^n \text{Cov}(X_i, X_j)
\\
&=
\sum_{i=1}^n \mathbb{V}(X_i)
+ 2\sum_{i=1}^{n-1}\sum_{j=i+1}^n \rho \sigma^2
\end{align*}
となるので，
\begin{align*}
\mathbb{V}
\left(
n^{-1}
\sum_{i=1}^n X_i
\right)
&=
n^{-2}
\mathbb{V}
\left(
\sum_{i=1}^n X_i
\right)
\\
&=
n^{-2}
\left(
\sum_{i=1}^n \mathbb{V}(X_i)
+ 2 \sum_{i=1}^{n-1}\sum_{j=i+1}^n \rho \sigma^2
\right)
\cdots (3)
\end{align*}
が成り立ちます．問題文より n が大きい時に (3)式右辺第二項の\rho=0 であるから，nが大きいという制約のもとで，
\begin{align*}
\mathbb{V}
\left(
n^{-1}
\sum_{i=1}^n X_i
\right)
&=
n^{-2}
\left(
\sum_{i=1}^n \mathbb{V}(X_i)
\right)
\end{align*}
が成り立ちます．これをチェビシェフの不等式に用いれば，nを大きくするとn^{-2}の部分によって右辺が0になる．つまり, nが大で\mathbb{P}(|n^{-1}\sum X_i - \mu| > \epsilon)が0に収束することを任意の\epsilon > 0を示せて，これは与えられた命題と同値．
といったように解答をすることができそうだなと考えていました．
Discussion