ワイブル分布の最尤推定量の導出
今回は、ワイブル分布(weibull distribution)の最尤推定量の導出を行います。計算を行うために、独立性は仮定しておきます。
ワイブル分布とは
まず初めに、ワイブル分布の確率分布のおさらいをします。ワイブル分布はパラメータ\bm{\theta}が2変量を持つ、以下で表される分布でした。
\begin{align*}
f(x; m, \eta) = \frac{m}{\eta}\left(\frac{x}{\eta}\right)^{m-1}\exp\left\{-\left(\frac{x}{\eta}\right)^m\right\}
\end{align*}
この分布は、時間に対する劣化現象や寿命を統計的に記述するためにも利用され、mを形状パラメータ、\etaを尺度パラメータと呼びます。
最尤推定量の導出
まず、最尤推定量\widehat{m}, \widehat{\eta}を求めていきます。まずは尤度関数Lと対数尤度関数\ellを求めていきましょう。
\begin{align*}
L(m, \eta) &= \prod_{i=1}^{n} f(x_i; m, \eta)\\
&= \left(\frac{m}{\eta}\right)^n \prod_{i=1}^{n}\left(\frac{x_i}{\eta}\right)^{m-1}\exp\left\{-\sum_{i=1}^{n}\left(\frac{x_i}{\eta}\right)^m\right\}
\end{align*}
\begin{align*}
\ell(m, \eta) &= \log L(m, \eta)\\
&= n \log m - n\log \eta + (m -1)\sum_{i=1}^{n}\log x_i - n(m-1)\log \eta -\sum_{i=1}^{n} \left(\frac{x_i}{\eta}\right)^m
\end{align*}
これらより、スコア関数を求めていきます。
\begin{align*}
S(m; \bm{x}) &= \frac{n}{m} + \sum_{i} \log x_i - n\log \eta - \sum_i \left(\frac{x_i}{\eta}\right)^m \log \frac{x_i}{\eta}\\
\end{align*}
\begin{align*}
S(\eta; \bm{x}) &= - \frac{n}{\eta} - \frac{n(m-1)}{\eta} + \sum_i \frac{m}{\eta}\left(\frac{x_i}{\eta}\right)^m\\
&= -\frac{nm}{\eta} + \sum_i \frac{m}{\eta}\left( \frac{x_i}{\eta} \right)^m
\end{align*}
最尤推定量はスコア関数を0としたときの解なので、
\begin{align*}
0 &= \frac{n}{\widehat{m}} + \sum_{i} \log x_i - n\log \widehat{\eta} - \sum_i \left(\frac{x_i}{\widehat{\eta}}\right)^{\widehat{m}} \log \frac{x_i}{\widehat{\eta}} \tag{A}\\
0 &= -\frac{n\widehat{m}}{\widehat{\eta}} + \sum_i \frac{\widehat{m}}{\widehat{\eta}}\left( \frac{x_i}{\widehat{\eta}} \right)^{\widehat{m}} \tag{B}
\end{align*}
この式を見ると、どちらにも\widehat{m}, \widehat{\eta}を含んでいるので、(B)式から\widehat{\eta}から求めていくことにします。
\begin{align*}
n &= \sum_i \left( \frac{x_i}{\widehat{\eta}} \right)^{\widehat{m}}\\
1 &= \frac{1}{n} \frac{1}{\widehat{\eta}^{\widehat{m}}}\sum_i x_i^{\widehat{m}}\\
\therefore \widehat{\eta} &= \left(\frac{1}{n} \sum_{i=1}^{n} x_i^{\widehat{m}} \right)^{\frac{1}{\widehat{m}}}
\end{align*}
これを(A)に代入することで\widehat{m}を求めていきます。
計算すると、以下のように求められます。
\begin{align*}
\widehat{m} = \left[\left(\sum_{i=1}^{n} x_i^{\widehat{m}} \log x_i \right) \left(\sum_{i=1}^{n}x_i^{\widehat{m}} \right)^{-1} - \frac{1}{n}\sum_{i=1}^{n}\log x_i \right]^{-1}
\end{align*}
両辺に\widehat{m}が入っているため、完全に求められたとは言えませんが、これをpythonなどの計算機で計算すれば晴れて最尤推定量を求められるわけです。
この解が必ず1つ存在することは、陰関数について詳しく考える必要があるため今回は省略します。
次は、この計算をヒントにフィッシャー情報量について求めていきます
Discussion