PRML 第3章 線形回帰モデル

(3.89)の導出に関して，m_Nが\alphaに依存しているため，E(m_N)の微分が非自明だった．

\begin{equation*} \begin{split} \frac{\partial}{\partial \alpha}E(m_N) &=\frac{\beta}{2}\frac{\partial m_N}{\partial \alpha} \frac{\partial}{\partial m_N}\|t-\Phi m_N\|^2 + \frac{1}{2}\|m_N\|^2 + \frac{\alpha}{2}\frac{\partial m_N}{\partial \alpha} \frac{\partial}{\partial m_N}\|m_N\|^2\\ &=\frac{\beta}{2}\left(\frac{\partial m_N}{\partial \alpha}\right) \{-2\Phi^T(t-\Phi m_N)\} + \frac{1}{2}\|m_N\|^2 + \frac{\alpha}{2}\left(\frac{\partial m_N}{\partial \alpha}\right) 2m_N\\ &= \frac{1}{2}\|m_N\|^2 + \left(\frac{\partial m_N}{\partial \alpha}\right) \{(\beta \Phi ^T\Phi + \alpha I)m_N - \beta \Phi ^T t\}\\ &= \frac{1}{2}\|m_N\|^2 + \left(\frac{\partial m_N}{\partial \alpha}\right)(A\cdot \beta A^{-1}\Phi ^T t - \beta \Phi ^T t)\\ &= \frac{1}{2}\|m_N\|^2 \end{split} \end{equation*}

• 1行目の式変形は分母レイアウト記法の連鎖律を利用している
• 4行目の式変形は(3.81)と(3.84)を利用している