PRML 第1章（1.21から1.41まで）解答例

はじめに

PRML解答例まとめを参照

演習 1.21

2つの非負の数$aa$と$bb$があったとき，$a≤ba \le b$なら$a≤(ab)12a \le (ab)^{\frac{1}{2}}$であることを示せ．この結果を使って，2クラスのクラス分類問題の決定領域を誤識別率が最小になるように選ぶと，この確率が

$$p( 誤り )≤∫{p(x,C1)p(x,C2)}1/2dx(1.150) p(\text { 誤り } ) \le \int\left\{p\left(\mathbf{x}, \mathcal{C}_{1}\right) p\left(\mathbf{x}, \mathcal{C}_{2}\right)\right\}^{1 / 2} \mathrm{d} \mathbf{x} \tag{1.150}$$

を満たすことを示せ．

---

$a≤ba \le b$の両辺の平方根をとると、

$$a12≤b12 a^{\frac{1}{2}} \le b^{\frac{1}{2}}$$

さらに両辺に$a12a^{\frac{1}{2}}$を掛けると、

$$a≤(ab)12 a \le (ab)^{\frac{1}{2}}$$

が得られる。

また、$p( 誤り )p(\text { 誤り } )$を最小にするには、決定領域$R1\mathcal{R}_{1}$において$p(x,C2)≤p(x,C1)p\left(\mathbf{x}, \mathcal{C}_{2}\right) \le p\left(\mathbf{x}, \mathcal{C}_{1}\right)$、$R2\mathcal{R}_{2}$において$p(x,C1)≤p(x,C2)p\left(\mathbf{x}, \mathcal{C}_{1}\right) \le p\left(\mathbf{x}, \mathcal{C}_{2}\right)$でなければならない。
これと$a≤(ab)12a \le (ab)^{\frac{1}{2}}$より、

$$p( 誤り )=∫R1p(x,C2) dx+∫R2 p(x,C1)dx≤∫R1{p(x,C1)p(x,C2)}1/2dx+∫R2{p(x,C1)p(x,C2)}1/2dx=∫{p(x,C1)p(x,C2)}1/2dx \begin{aligned} p(\text { 誤り } ) &=\int_{R_1} p\left(\mathbf{x}, \mathcal{C}_{2}\right) \ \mathrm{d} \mathbf{x} + \int_{R_2}\ p\left(\mathbf{x}, \mathcal{C}_{1}\right) \mathrm{d} \mathbf{x} \\ &\le \int_{R_1}\left\{p\left(\mathbf{x}, \mathcal{C}_{1}\right) p\left(\mathbf{x}, \mathcal{C}_{2}\right)\right\}^{1 / 2} \mathrm{d} \mathbf{x} + \int_{R_2}\left\{p\left(\mathbf{x}, \mathcal{C}_{1}\right) p\left(\mathbf{x}, \mathcal{C}_{2}\right)\right\}^{1 / 2} \mathrm{d} \mathbf{x} \\ &=\int\left\{p\left(\mathbf{x}, \mathcal{C}_{1}\right) p\left(\mathbf{x}, \mathcal{C}_{2}\right)\right\}^{1 / 2} \mathrm{d} \mathbf{x} \end{aligned}$$

となり、式$(1.150)(1.150)$が得られる。

演習 1.22

$LkjL_{kj}$を要素とする損失行列が与えられたとき，期待リスクが最小になるのは，各$x\mathbf{x}$に対し，

$$∑kLkjp(Ck∣x)(1.81) \sum_{k} L_{k j} p\left(\mathcal{C}_{k} \mid \mathbf{x}\right) \tag{1.81}$$

を最小にするクラスを選んだときである．損失行列が$Lkj=1−IkjL_{kj}=1-I_{kj}$で与えられたとき，これが最大事後確率のクラスを選ぶ規準に帰着されることを確かめよ．ただし，$IkjI_{kj}$は単位行列の成分を表す．また，この損失行列はどのように解釈できるか？

---

$(1.81)(1.81)$式に$Lkj=1−IkjL_{kj}=1-I_{kj}$を代入すると、

$$∑k(1−Ikj)p(Ck∣x) \sum_k {(1-I_{kj})p(\mathcal{C}_k | x})$$

となり、$∑kp(Ck∣x)=1\sum_k {p(\mathcal{C}_k | x)} = 1$であることを用いると、$1−∑kIkjp(Ck∣x)1-\sum_k{I_{kj}p(\mathcal{C}_k|x)}$と表せる。この式の最小化は$p(Ck∣x)p(\mathcal{C}_k|x)$の最大化と同一である。

損失行列$1−Ikj1-I_{kj}$の解釈としては、損失行列の対角成分が$00$、他の成分が$11$の行列であるから、この行列の期待値の最小化は誤分類の最小化と解釈できる。

演習 1.23

一般の場合に，損失行列とクラスに対する事前確率が与えられたときに，期待損失を最小にする規準を導け．

---

期待損失は損失行列$LL$と事後確率$p(Ck∣x)p\left(\mathcal{C}_{k}|x\right)$で下記のように簡単に表すことができる,

$$∑kLkjP(Ck∣x) \begin{aligned} \sum_{k}^{}L_{kj}P\left(\mathcal{C}_{k}|x\right) \end{aligned}$$

損失行列$LL$とクラスの事前確率$p(Ck)p\left(\mathcal{C}_{k}\right)$を代入すると

$$∑kLkjP(Ck∣x)=1p(x)∑kLkjp(Ck)p(x∣Ck) \begin{aligned} \sum_{k}^{}L_{kj}P\left(\mathcal{C}_{k}|x\right) &= \frac{1}{p\left(x\right)}\sum_{k}^{}L_{kj}p\left(\mathcal{C}_{k}\right)p\left(x|\mathcal{C}_{k}\right) \end{aligned}$$

となる.

これによって、期待損失を最小化するには$xx$を適切な$Ck\mathcal{C}_{k}$に当てはめて、$LkjL_{kj}$と$p(Ck)p\left(\mathcal{C}_{k}\right)$のトレードオフ関係を適切に扱うことが期待損失を最小にする基準となっている。

演習 1.24

クラス分類問題を考え，クラス$Ck\mathcal{C}_k$からの入力ベクトルをクラス$Cj\mathcal{C}_j$と分類したときの損失行列を$LkjL_{kj}$とし，棄却オプションを選んだときの損失を$λ\lambda$とする．このとき期待損失を最小とする決定規準を見つけよ．損失行列が$Lkj=1−IkjL_{kj}=1-I_{kj}$のときは，決定規準は1.5.3節で議論した棄却規準に帰着されることを確かめよ．また，$λ\lambda$と棄却しきい値$θ\theta$にはどんな関係があるか？

---

$(1.81)(1.81)$より、クラス$Ck\mathcal{C}_k$からの入力ベクトルをクラス$Cj\mathcal{C}_j$と分類したとき、棄却を考えない場合は

$$j=arg⁡min⁡j∑kLkjp(Ck∣x) j = \arg \min_j \sum_{k}^{}L_{kj}p(C_k|\mathbf{x})$$

この$jj$を選んだ場合の損失関数は$min⁡j∑kLkjp(Ck∣x)\min_j \sum_{k}^{}L_{kj}p(\mathcal{C}_k|\mathbf{x})$となるので、棄却オプションを選んだ時に損失を最小にする決定規準は

$$choose{classj(min⁡j∑kLkjp(Ck∣x)<λ)棄却(上記以外) \text{choose}\left\{\begin{array}{ll} \text{class} \quad j & (\min_j \sum_{k}^{}L_{kj}p(\mathcal{C}_k|\mathbf{x}) < \lambda) \\ \text{棄却} & (\text{上記以外})\end{array}\right.$$

$Lkj=1−IkjL_{kj}=1-I_{kj}$のとき、$∑kLkjp(Ck∣x)=1−p(Cj∣x)\sum_{k}^{}L_{kj}p(\mathcal{C}_k|\mathbf{x})=1-p(\mathcal{C}_j|\mathbf{x})$となる(演習1.22参照)。

上記規準に照らし合わせると$1−p(Cj∣x)≥λ1-p(\mathcal{C}_j|\mathbf{x}) \ge \lambda$、つまり$p(Cj∣x)≤1−λp(\mathcal{C}_j|\mathbf{x}) \le 1-\lambda$のときに棄却となる。

1.5.3節の議論より、$p(Cj∣x)≤θp(\mathcal{C}_j|\mathbf{x}) \le \theta$の時に棄却となるので、$θ=1−λ\theta = 1-\lambda$としたとき決定規準は1.5.3節で議論した棄却規準に帰着する。

演習 1.25

単一の目標変数$tt$の

$$E[L]=∬{y(x)−t}2p(x,t)dxdt(1.87) \mathbb{E}[L]=\iint\{y(\mathbf{x})-t\}^{2} p(\mathbf{x}, t) \mathbf{d} \mathbf{x} \mathrm{d} t \tag{1.87}$$

の二乗損失関数のベクトル値$t\mathbf{t}$で表される多変数の場合への以下の一般化について考える．

$$E[L(t,y(x))]=∬∥y(x)−t∥2p(x,t)dxdt(1.151) \mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x}))]=\iint\|\mathbf{y}(\mathbf{x})-\mathbf{t}\|^{2} p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{x} \mathrm{d} \mathbf{t} \tag{1.151}$$

変分法によって，この期待損失を最小化する関数$y(x)\mathbf{y}(\mathbf{x})$が$y(x)=Et[t∣x]\mathbf{y}(\mathbf{x})=\mathbb{E}_{\mathbf{t}}[\mathbf{t} | \mathbf{x}]$で与えられることを示せ．単一の目標変数$t\mathbf{t}$の場合はこの結果が

$$y(x)=∫tp(x,t)dtp(x)=∫tp(t∣x)dt=Et[t∣x](1.89) y(\mathbf{x})=\frac{\int t p(\mathbf{x}, t) \mathrm{d} t}{p(\mathbf{x})}=\int t p(t \mid \mathbf{x}) \mathrm{d} t=\mathbb{E}_{t}[t \mid \mathbf{x}] \tag{1.89}$$

に帰着されることを確かめよ．

---

$(1.151)(1.151)$は$(1.87)(1.87)$で$tt$をベクトル$t\mathbf{t}$で置き換えることで得られる．

$$E[L]=∬∥y(x)−t∥2p(x,t)dxdt=∫G(y,y′,x)dx \mathbb{E} \left[ L \right] = \iint\|\mathbf{y}(\mathbf{x})-\mathbf{t}\|^{2} p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{x} \mathrm{d} \mathbf{t} = \int G(\mathbf{y}, \mathbf{y}', \mathbf{x}) \mathrm{d} \mathbf{x}$$

とおき，変分法を用いて期待損失を最小にする$y\mathbf{y}$を求める．オイラー方程式より，

$$δE[L]δy(x)=∂G∂y−ddx(∂G∂y′)=0 \begin{aligned} \frac{\delta \mathbb{E}[L]}{\delta \mathbf{y}(\mathbf{x})} =& \frac{\partial{G}}{\partial{\mathbf{y}}} - \frac{\mathrm{d}}{\mathrm{d}\mathbf{x}} \left(\frac{\partial{G}}{\partial{\mathbf{y}'}}\right) = \mathbf{0} \\ \end{aligned}$$

ここで$∂G∂y′=0\displaystyle \frac{\partial{G}}{\partial{\mathbf{y}'}} = \mathbf{0}$であることに注意すると

$$δE[L]δy(x)=∂G∂y=0⇔ ∂∂y∫∥y(x)−t∥2p(x,t)dt=0⇔ ∫2{y(x)−t}p(x,t)dt=0⇔ y(x)=∫tp(x,t)dt∫p(x,t)dt=∫tp(x,t)dtp(x)=∫tp(t∣x)dt=Et[t∣x] \begin{aligned} & \frac{\delta \mathbb{E}[L]}{\delta \mathbf{y}(\mathbf{x})} =\frac{\partial{G}}{\partial{\mathbf{y}}} = \mathbf{0} \\ \Leftrightarrow ~ & \frac{\partial}{\partial{\mathbf{y}}} \int\|\mathbf{y}(\mathbf{x})-\mathbf{t}\|^{2} p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{t} = \mathbf{0} \\ \Leftrightarrow ~ & \int 2\{\mathbf{y}(\mathbf{x})-\mathbf{t}\} p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{t} = \mathbf{0} \\ \Leftrightarrow ~ & \mathbf{y}(\mathbf{x}) = \frac{\int \mathbf{t} p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{t}}{\int p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{t}} = \frac{\int \mathbf{t} p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{t}}{p(\mathbf{x})} = \int \mathbf{t} p(\mathbf{t} | \mathbf{x}) \mathrm{d} \mathbf{t} = \mathbb{E}_t \left[ \mathbf{t} | \mathbf{x} \right]\\ \end{aligned}$$

となる．ここでベクトル$t\mathbf{t}$をスカラー$tt$で置き換えると$(1.89)(1.89)$が得られる．

演習 1.26

$$E[L(t,y(x))]=∬∥y(x)−t∥2p(x,t)dxdt(1.151) \mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x}))]=\iint\|\mathbf{y}(\mathbf{x})-\mathbf{t}\|^{2} p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{x} \mathrm{d} \mathbf{t} \tag{1.151}$$

の2乗を展開し，

$$\mathbb{E}[L]=\int\{y(\mathbf{x})-\mathbb{E}[t \mid \mathbf{x}]\}^{2} p(\mathbf{x}) \mathrm{d} \mathbf{x}+\int \operatorname{var}[t \mid \mathbf{x}] p(\mathbf{x}) \mathrm{d} \mathbf{x} \tag{1.90}$$

に類似の結果を導き，目標変数ベクトル$\mathbf{t}$の場合に期待二乗損失を最小にする関数$\mathbf{y}(\mathbf{x})$がやはり$\mathbf{t}$の条件付き期待値で与えられることを示せ．

---

まず$(1.151)$の$2$乗部分を展開すると

$$\begin{aligned}\|\mathbf{y}(\mathbf{x})-\mathbf{t}\|^{2} &=\left\|\mathbf{y}(\mathbf{x})-\mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}]+\mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}]-\mathbf{t}\right\|^{2} \\ &=\left\|\mathbf{y}(\mathbf{x})-\mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}]\right\|^{2}+2\left\{\mathbf{y}(\mathbf{x})-\mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}]\right\}^{\mathrm{T}}\left\{\mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}]-\mathbf{t}\right\}+\left\|\mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}]-\mathbf{t}\right\|^{2} \end{aligned}$$

となる．ここで第$2$項について，

$$\begin{aligned} \int\left(\mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}]-\mathbf{t}\right) p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{t} &=\int \mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}] p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{t}-\int \mathbf{t} p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{t} \\ &=\int \mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}] p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{t}-\int \mathbf{t} p(\mathbf{t} \mid \mathbf{x}) p(\mathbf{x}) \mathrm{d} \mathbf{t} \\ &=\mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}] \int p(\mathbf{x}, \mathbf{t}) \mathrm{d} \mathbf{t}-p(\mathbf{x}) \int \mathbf{t} p(\mathbf{t} \mid \mathbf{x}) \mathrm{d} \mathbf{t} \\ &=\mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}] p(\mathbf{x})-p(\mathbf{x}) \mathbb{E}_{\mathbf{t}}[\mathbf{t} \mid \mathbf{x}]=\mathbf{0} \end{aligned}$$

となる．$2$行目から$3$行目への変形には $\mathbb{E}[\mathbf{t}|\mathbf{x}]$ が定数であることと $\displaystyle \int\mathbf{t}p(\mathbf{x},\mathbf{t})\mathrm{d}\mathbf{t}=\mathbb{E}[\mathbf{t}|\mathbf{x}]$ を用いた．
これらと $\displaystyle \int p(\mathbf{x},\mathbf{t})\mathrm{d}\mathbf{t}=p(\mathbf{x}), \int\|\mathbf{t}-\mathbb{E}[\mathbf{t}|\mathbf{x}]\|^2p(\mathbf{t}|\mathbf{x})\mathrm{d}\mathbf{t}=\mathrm{var}[\mathbf{t}|\mathbf{x}]$ に注意すると， $\mathbb{E}[L]$ は

$$\begin{aligned} \mathbb{E}[L] &= \iint\|\mathbf{y}(\mathbf{x})-\mathbf{t}\|^2p(\mathbf{x},\mathbf{t})\mathrm{d}\mathbf{x}\mathrm{d}\mathbf{t} \\ &= \iint\|\mathbf{y}(\mathbf{x})-\mathbb{E}[\mathbf{t}|\mathbf{x}]\|^2p(\mathbf{x},\mathbf{t})\mathrm{d}\mathbf{x}\mathrm{d}\mathbf{t} + \iint\|\mathbb{E}[\mathbf{t}|\mathbf{x}]-\mathbf{t}\|^2p(\mathbf{x},\mathbf{t})\mathrm{d}\mathbf{x}\mathrm{d}\mathbf{t}\\ &= \int\|\mathbf{y}(\mathbf{x})-\mathbb{E}[\mathbf{t}|\mathbf{x}]\|^2\int p(\mathbf{x},\mathbf{t})\mathrm{d}\mathbf{t}\mathrm{d}\mathbf{x} + \iint\|\mathbf{t}-\mathbb{E}[\mathbf{t}|\mathbf{x}]\|^2p(\mathbf{t}|\mathbf{x})\mathrm{d}\mathbf{t}p(\mathbf{x})\mathrm{d}\mathbf{x}\\ &= \int\|\mathbf{y}(\mathbf{x})-\mathbb{E}[\mathbf{t}|\mathbf{x}]\|^2p(\mathbf{x})\mathrm{d}\mathbf{x} + \int\mathrm{var}[\mathbf{t}|\mathbf{x}]p(\mathbf{x})\mathrm{d}\mathbf{x}\\ \end{aligned}$$

と変形でき，期待二乗損失を最小にする $\mathbf{y}(\mathbf{x})$ が $\mathbf{t}$ の条件付き期待値で与えられることがわかる．

演習 1.27

回帰の問題で，損失関数$L_q$が

$$\mathbb{E}\left[L_{q}\right]=\iint|y(\mathbf{x})-t|^{q} p(\mathbf{x}, t) \mathrm{d} \mathbf{x} \mathrm{d} t \tag{1.91}$$

で与えられるときの期待損失を考える．$y(\mathbf{x})$が$\mathbb{E}[L_q]$を最小化するために満たすべき条件を書き下せ.$q=1$に対しては解が条件付きメディアンになる，つまり，$t \lt y(\mathbf{x})$となる確率質量と$t \ge y(\mathbf{x})$となる確率質量は等しいことを示せ．また，$q \to 0$に対する$L_q$の期待損失を最小にするのは条件付きモード，つまり関数$y(\mathbf{x})$が，各$\mathbf{x}$に対して，$p(t|\mathbf{x})$を最大にする$t$の値に等しくなることを示せ．

---

$y(\mathbf{x})$は$\mathbf{x}$と独立なので$\mathbf{x}$に関する積分の中身$\int |y(\mathbf{x})-t|^q p(\mathbf{x},t) \mathrm{d} t$を最小化すれば良い。これを$y(\mathbf{x})$で微分すると、

$$\begin{aligned} q \int_{-\infty}^{y(\mathbf{x})} |y(\mathbf{x})-t|^{q-1} p(t|\mathbf{x}) \mathrm{d} t - q \int_{y(\mathbf{x})}^{\infty} |y(\mathbf{x})-t|^{q-1} p(t|\mathbf{x}) \mathrm{d} t \end{aligned}$$

$y(\mathbf{x})$が$\mathbb{E}[L_q]$を最小化するために満たすべき条件は、これが0になることなので

$$\begin{aligned} q \int_{-\infty}^{y(\mathbf{x})} |y(\mathbf{x})-t|^{q-1} p(t|\mathbf{x}) \mathrm{d} t &= q \int_{y(\mathbf{x})}^{\infty} |y(\mathbf{x})-t|^{q-1} p(t|\mathbf{x}) \mathrm{d} t \end{aligned}$$

$q=1$に対しては

$$\begin{aligned} q \int_{-\infty}^{y(\mathbf{x})} p(t|\mathbf{x}) \mathrm{d} t &= q \int_{y(\mathbf{x})}^{\infty} p(t|\mathbf{x}) \mathrm{d} t \end{aligned}$$

となる。つまり、任意の入力$\mathbf{x}$に対して$t$が$y(\mathbf{x})$の左右にいる確率は等しいのでこれは条件付きmedianである。

$q→0$のとき、再び微分前の式に戻って考える。$|y(\mathbf{x})-t|^q$のグラフを頭の中で頑張って想像して描いてみると、$t$のほとんどの値については$|y(\mathbf{x})-t|^q=1$だが、$y(\mathbf{x})=t$の近傍でだけ（絶対値の中が0に近いので）グラフが急激に落ち込み$|y(\mathbf{x})-t|^q\sim0$となる。

よって$p(\mathbf{x},t)$が最大となる$t$の場所に$y(\mathbf{x})$を合わせると、$\int |y(\mathbf{x})-t|^q p(\mathbf{x},t) \mathrm{d} t$は最小となる。これは条件付きmodeである。

演習 1.28

1.6節でエントロピー$h(x)$のアイディアを確率分布$p(x)$を持つ確率変数$x$の値を観測することによって増える情報量として導入した．また，変数$x,y$が$p(x,y)=p(x)p(y)$となって独立なときは，エントロピーは加法的で$h(x,y)=h(x)+h(y)$となることを見た．この演習問題では，$h$と$p$の間の関数関係$h(p)$を導く．まず$h(p^2)=2h(p)$となることを示し，数学的帰納法により，正の整数$n$に対し$h(p^n)=nh(p)$となることをを示せ．さらに，正の整数$m$に対し，$h(p^{n/m})=(n/m)h(p)$が成り立つことを示せ．このことから$x$が正の有理数のとき，$h(p^x)=xh(p)$が成り立つが，これは連続性により正の実数値の場合も成り立つ．最後にこのことから$h(p)$が$h(p) \propto \ln p$の形を取らなければならないことを示せ．

---

まず1.6節の議論から、確率分布$p(x)$に依存し情報量を表す尺度$h(x)$を導入するとあるが、わかりやすくするため、$h(p(x))$と書くことにする。$p(x,y)=p(x)p(y)$と独立なときはエントロピーは加法的$h(x,y)=h(x)+h(y)$となるべきなので、

$$\begin{aligned} &h(x,y) = h(p(x,y)) = h(p(x)p(y)) \\ &h(x)+h(y) = h(p(x)) + h(p(y)) \end{aligned}$$

となる。すなわち、$h(p(x))+h(p(y)) = h(p(x)p(y))$である。
ここで$y=x$とすると、

$$\begin{aligned} &h(p(x))+h(p(x)) = 2h(p(x)) \\ &h(p(x)p(x)) = h(p^2(x)) \end{aligned}$$

よって$h(p^2)=2h(p)$であることが示された。

$h(p^k)=kh(p)$が成立することを示す。$n=1$のときは自明。$n=2$は上で示した。

$k\ge 3$となる$n=k$のとき$h(p^k)=kh(p)$が成立すると仮定すると、$n=k+1$のとき、

$$h(p^{k+1})=h(p^kp)=h(p^k)+h(p)=kh(p)+h(p)=(k+1)h(p)$$

となるので、数学的帰納法から$h(p^k)=kh(p)$であることが示された。

正の整数$m$について、$h(p^m) = mh(p)$となるので

$$h(p^{n/m}) = nh(p^{1/m}) = \frac{n}{m}mh(p^{1/m}) = \frac{n}{m}h(p)$$

となる。よって$x$が正の有理数ならば$h(p^x) = xh(p)$となる。またこれは連続性からすべての実数について成立する。

最後に$p=q^k$となるような正の実数$q,k$が存在したとき

$$\frac{h(p)}{\ln p}=\frac{h(q^k)}{\ln q^k} = \frac{kh(q)}{k\ln q} = \frac{h(q)}{\ln q}$$

となるので、$h(p)\propto \ln p$である。

演習 1.29

$M$状態の離散確率変数$x$を考え，イェンセンの不等式

$$f\left(\sum_{i=1}^{M} \lambda_{i} x_{i}\right) \leq \sum_{i=1}^{M} \lambda_{i} f\left(x_{i}\right) \tag{1.115}$$

を使って，確率分布$p(x)$のエントロピーが$\mathrm{H}[x] \le \ln M$を満たすことを示せ．

---

イェンセンの不等式$(1.115)$は以下の通りである。

$f(x)$を実数上の凸関数（いわゆる下に凸）とする。$p_{1},p_{2},\ldots$ を、$p_{1}+p_{2}+\cdots =1$を満たす正の実数の列とする。また、$x_1, \, x_2, \, \ldots$を実数の列とする。そのとき次式が成り立つ。

$$\sum_{i=1}^{\infty} p_i f(x_i) \ge f\left( \sum_{i=1}^{\infty} p_i x_i \right)$$

また関数$f(x)$が凹関数（いわゆる上に凸）ならば上式の不等号は逆になる。

$M$状態存在するとき、確率分布$p(x)$のエントロピーは$(1.98)$式より

$$\mathrm{H}[x] = -\sum_{i=1}^{M}p(x_i)\ln p(x_i)=\sum_{i=1}^{M}p(x_i)\ln \frac{1}{p(x_i)}$$

となる。ここで、$p(x_i)\ge 0,\ \sum_{i=1}^{M}p(x_i)=1$である。

$\ln x$は凹関数であることに注意して、イェンセンの不等式の不等号を逆にすると、

$$\mathrm{H}[x] = \sum_{i=1}^{M}p(x_i)\ln \frac{1}{p(x_i)} \le \ln\left( \sum_{i=1}^{M}p(x_i)\frac{1}{p(x_i)} \right) = \ln \left( \sum_{i=1}^M 1\right) = \ln M$$

となり、題意は示された。

演習 1.30

2つのガウス分布$p(x)=\mathcal{N}\left(x | \mu, \sigma^{2}\right)$と$q(x)=\mathcal{N}\left(x | m, s^{2}\right)$の間のカルバック–ライブラーダイバージェンス

$$\begin{aligned} \mathrm{KL}(p \| q) &=-\int p(\mathrm{x}) \ln q(\mathrm{x}) \mathrm{d} \mathrm{x}-\left(-\int p(\mathrm{x}) \ln p(\mathrm{x}) \mathrm{d} \mathrm{x}\right) \\ &=-\int p(\mathrm{x}) \ln \left\{\frac{q(\mathrm{x})}{p(\mathrm{x})}\right\} \mathrm{d} \mathrm{x} \end{aligned} \tag{1.113}$$

を計算せよ．

---

KLの定義より

$$KL(p\|q)=-\int{p(x)\ln{q(x)}}dx+\int{p(x)\ln{p(x)}}dx$$

右辺第一項に

$$q(x)=\frac{1}{(2\pi s^2)^\frac{1}{2}}\exp\left(-\frac{(x-m)^2}{2s^2}\right)$$

を代入すると

$$-\int{p(x)\ln{q(x)}}dx=\frac{1}{2}\left(\ln({2\pi s^2})\int{p(x)}dx+\frac{1}{s^2}\left(\int{p(x)x^2}dx-2m\int{p(x)x}dx+m^2\int{p(x)}dx\right)\right)$$

ここで

$$\int{p(x)}dx=1$$

$$\int{p(x)x}dx=\mu$$

$$\int{p(x)x^2}dx=\mu^2+\sigma^2$$

を代入して

$$-\int{p(x)\ln{q(x)}}dx=\frac{1}{2}\left(\ln({2\pi s^2}) +\frac{1}{s^2}\left(\mu^2+\sigma^2+m^2-2m\mu \right)\right)$$

また、KLの式の右辺第二項は微分エントロピーにマイナスをかけたものであるので、

$$\int{p(x)\ln{p(x)}}dx=-\frac{1}{2}\left(1+\ln{2\pi\sigma^2}\right)$$

である。

よって

$$KL(p\|q)=\ln\left({\frac{s}{\sigma}}\right)+\frac{1}{2}\left(\frac{\mu^2+\sigma^2+m^2-2m\mu}{s^2}-1\right)$$

演習 1.31

2つの変数$\mathbf{x}, \mathbf{y}$を考え，同時分布を$p(\mathbf{x},\mathbf{y})$とする．この変数の組の微分エントロピーが

$$\mathrm{H}[\mathbf{x}, \mathbf{y}] \le \mathrm{H}[\mathbf{x}] + \mathrm{H}[\mathbf{y}] \tag{1.152}$$

を満たし，等号は$\mathbf{x}$と$\mathbf{y}$が統計的に独立なとき，またそのときに限ることを示せ．

---

(i)
変数$\mathbf{x}, \mathbf{y}$及び同時分布$p(\mathbf{x},\mathbf{y})$の微分エントロピーは以下の形式に変換することができる

$$\begin{aligned} \mathrm{H}[\mathbf{x}] &= -\int{p(\mathbf{x})\ln{p(\mathbf{x})}}d\mathbf{x}\\ &= -\iint{p(\mathbf{x})p\left(\mathbf{y}\right)\ln{p(\mathbf{x})}}d\mathbf{x}d\mathbf{y}\\ \mathrm{H}[\mathbf{y}] &= -\int{p(\mathbf{y})\ln{p(\mathbf{y})}}d\mathbf{y}\\ &=-\iint{p(\mathbf{x})p(\mathbf{y})\ln{p(\mathbf{y})}}d\mathbf{x}d\mathbf{y}\\ \mathrm{H}[\mathbf{\mathbf{x,y}}] &= -\iint{p(\mathbf{\mathbf{x,y}})\ln{p(\mathbf{\mathbf{x,y}})}}d\mathbf{x}d\mathbf{y} \end{aligned}$$

すると$\mathrm{H}[\mathbf{x}] + \mathrm{H}[\mathbf{y}]$は

$$\begin{aligned} \mathrm{H}[\mathbf{x}] + \mathrm{H}[\mathbf{y}] &=-\iint{p(\mathbf{x})p(\mathbf{y})\left(\ln{p(\mathbf{x})} + \ln{p(\mathbf{y})}\right)}d\mathbf{x}d\mathbf{y}\\ &=-\iint{p(\mathbf{x})p(\mathbf{y})\ln{p(\mathbf{x})p(\mathbf{y})}}d\mathbf{x}d\mathbf{y} \end{aligned}$$

となる。

$p(\mathbf{x,y}) \ge p(\mathbf{x})p(\mathbf{y})$によって,$\mathrm{H}[\mathbf{x}, \mathbf{y}] \le \mathrm{H}[\mathbf{x}] + \mathrm{H}[\mathbf{y}]$が満たされ，等号は$p(\mathbf{x,y}) = p(\mathbf{x})p(\mathbf{y})$の時、つまり$\mathbf{x}$と$\mathbf{y}$が統計的に独立なとき，またそのときに限ることが示された．

(ii)
(1.112)より

$$\mathrm{H}[\mathbf{x}] =H[\mathbf{x}\mid\mathbf{y}]+\mathrm{H}[\mathbf{x}]$$

であるので、

$$H[\mathbf{x}\mid\mathbf{y}]+\mathrm{H}[\mathbf{x}]\le \mathrm{H}[\mathbf{x}]+\mathrm{H}[\mathbf{y}]$$

すなわち

$$\mathrm{H}[\mathbf{y}]-H[\mathbf{x}\mid\mathbf{y}] \ge 0$$

を示せば良い。

ここで、(1.121)より(左辺)は

$$\mathrm{H}[\mathbf{y}]-H[\mathbf{x}\mid\mathbf{y}]=I[\mathbf{x,y}]$$

と書き表せ、これは変数$\mathbf{x,y}$の間の相互情報量を表す。

よって、カルバックーライブラーダイバージェンスの性質から

$$I[\mathbf{x,y}] \ge 0$$

$$\mathrm{H}[\mathbf{y}]-H[\mathbf{x}\mid\mathbf{y}] \ge 0$$

$$H[\mathbf{x}\mid\mathbf{y}]+\mathrm{H}[\mathbf{x}]\le \mathrm{H}[\mathbf{x}]+\mathrm{H}[\mathbf{y}]$$

$$\mathrm{H}[\mathbf{x}]\le \mathrm{H}[\mathbf{x}]+\mathrm{H}[\mathbf{y}]$$

となり、等号成立は $I[\mathbf{x,y}]=0$ すなわち$\mathbf{x}$と$\mathbf{y}$が独立なときに限ることが示された。

演習 1.32

連続変数のベクトル$\mathbf{x}$を考え，それが分布$p(\mathbf{x})$とそれに対応するエントロピー$\mathrm{H}[\mathbf{x}]$を持つとする．$\mathbf{x}$に非特異な線形変換を行い，新たな変数$\mathbf{y} = \mathbf{A}\mathbf{x}$を得たとする．対応するエントロピーが$\mathrm{H}[\mathbf{y}] = \mathrm{H}[\mathbf{x}] + \ln |\det (\mathbf{A})|$で与えられることを示せ．ただし$|\det (\mathbf{A})|$は$\mathbf{A}$の行列式の絶対値である．

---

$(1.27)$より

$$p(x) = p(y)\left| \frac{dy}{dx} \right|$$

ここで$\mathbf{y}=\mathbf{A}\mathbf{x}$より、ヤコビアンは

$$\frac{d\mathbf{y}}{d\mathbf{x}}=\mathbf{A}$$

ゆえに

$$p(\mathbf{x})=p(\mathbf{y})|\det(\mathbf{A})|$$

であるから、

$$p(\mathbf{y})=|\det(\mathbf{A})|^{-1} p(\mathbf{x})$$

$$d\mathbf{y}=|\det(\mathbf{A})| d\mathbf{x}$$

と書き換えることができる。

以上より

$$\begin{aligned}H[\mathbf{y}]&=-\int p(\mathbf{y}) \ln p(\mathbf{y}) d\mathbf{y} \\&= -\int \{|\det(\mathbf{A})|^{-1} p(\mathbf{x})\} \{\ln (|\det(\mathbf{A})|^{-1} p(\mathbf{x})) \}|\det(\mathbf{A})| d\mathbf{x} \\ &=-\int \{|\det(\mathbf{A})|^{-1} p(\mathbf{x})\} \{\ln (|\det(\mathbf{A})|^{-1}\}|\det(\mathbf{A})| d\mathbf{x}-\{|\det(\mathbf{A})|^{-1} p(\mathbf{x})\} \{\ln p(\mathbf{x})\}|\det(\mathbf{A})| d\mathbf{x} \\ &= |\det(\mathbf{A})|\int p(\mathbf{x}) \ln d\mathbf{x} - \int p(\mathbf{x}) \ln p(\mathbf{x}) d\mathbf{x} \\ &= \ln |\det(\mathbf{A})|+H[\mathbf{x}] \end{aligned}$$

となり、$\mathrm{H}[\mathbf{y}] = \mathrm{H}[\mathbf{x}] + \ln |\det (\mathbf{A})|$が示された。

演習 1.33

2つの離散確率変数$x,y$の間の条件付きエントロピー$\mathrm{H}[y|x]$が$0$であるとする．すると$p(x) > 0$なるすべての$x$の値に対し，変数$y$は$x$の関数でなければならない，すなわち，各$x$に対して$p(y|x)\ne 0$である$y$が唯一つ存在することを示せ．

---

$$\tag{1.98} \mathrm{H}[p] = -\sum_{i}p(x_i)\ln p(x_i)$$

$$\tag{1.111} \mathrm{H}[\mathbf{y} \mid \mathbf{x}] = - \iint p(\mathbf{y}, \mathbf{x}) \ln p(\mathbf{y} \mid \mathbf{x}) \mathrm{d}\mathbf{y} \mathrm{d}\mathbf{x}$$

を参考にすると，離散確率変数の条件付きエントロピーは

$$\begin{aligned} \mathrm{H}[y \mid x] =& - \sum_{i}\sum_{j} p(y_i, x_j) \ln p(y_i \mid x_j) \\ =& - \sum_{i}\sum_{j} p(y_i \mid x_j) p(x_j) \ln p(y_i \mid x_j) \\ \end{aligned}$$

となる．ここで，問題文の$\mathrm{H}[y \mid x]=0$と$p(x) > 0$という条件より，

$$\begin{aligned} & \mathrm{H}[y \mid x] = 0 \\ \Leftrightarrow & -\sum_{i}\sum_{j} p(y_i \mid x_j) p(x_j) \ln p(y_i \mid x_j) = 0 \\ \Leftrightarrow & - \sum_{i}\sum_{j} p(y_i \mid x_j) \ln p(y_i \mid x_j) = 0 \\ \end{aligned}$$

となる必要がある．ここでさらに，$0 \leqslant p(y_i \mid x_j) \leqslant 1$より，$0 < - p(y_i \mid x_j) \ln p(y_i \mid x_j)$であるため結局全ての$i, j$において

$$p(y_i \mid x_j) \ln p(y_i \mid x_j) = 0$$

となる必要がある．これが成立するのは，$p(y_i \mid x_j) = 0$または$p(y_i \mid x_j) = 1$のときであるが，$p(y_i \mid x_j)$は確率なので$\displaystyle \sum_i p(y_i \mid x_j) = 1$となる必要がある．つまり，ある$x_j$に対して$p(y_i \mid x_j)$は$1$つだけ$1$で残りが全て$0$でなければならない．これはまさに，各$x$に対して$p(y \mid x)\ne 0$である$y$が唯一つ存在することを示している．

演習 1.34

変分法を使って，

$$p(x)=\exp \left\{-1+\lambda_{1}+\lambda_{2} x+\lambda_{3}(x-\mu)^{2}\right\} \tag{1.108}$$

式の上にある汎関数の停留点が$(1.108)$で与えられることを示せ．また，制約

$$\begin{aligned} \int_{-\infty}^{\infty} p(x) \mathrm{d} x &=1 \tag{1.105} \end{aligned}$$

$$\begin{aligned} \int_{-\infty}^{\infty} x p(x) \mathrm{d} x &=\mu \tag{1.106} \end{aligned}$$

$$\begin{aligned} \int_{-\infty}^{\infty}(x-\mu)^{2} p(x) \mathrm{d} x &=\sigma^{2} \tag{1.107} \end{aligned}$$

を使ってラグランジュ乗数を消去し，最大エントロピー解がガウス分布

$$p(x)=\frac{1}{\left(2 \pi \sigma^{2}\right)^{1 / 2}} \exp \left\{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right\} \tag{1.109}$$

で与えられることを示せ．

---

$(1.108)$式の上にある汎関数を$\mathrm{F}(p(x))$とおくと

$$\begin{aligned} \mathrm{F}(p(x)) &= \int^{\infty}_{-\infty} \{ -\ln p(x) + \lambda_1 + \lambda_2x + \lambda_3(x-\mu)^2 \}p(x)\mathrm{d}x + (-\lambda_1-\lambda_2\mu-\lambda_3\sigma^2) \\ &= \int^{\infty}_{-\infty}\mathrm{G}(p(x))\mathrm{d}x + \mathrm{C} \end{aligned}$$

と変形できる。
変分法により

$$\begin{aligned} \frac{\delta\mathrm{F}(p(x))}{\delta p(x)} &= \frac{\partial\mathrm{G}(p(x))}{\partial p(x)} \\ &= -1 -\ln p(x) + \lambda_1 + \lambda_2x + \lambda_3(x-\mu)^2 \end{aligned}$$

これを$0$とおくと

$$\begin{aligned} \ln p(x) &= -1 + \lambda_1 + \lambda_2x + \lambda_3(x-\mu)^2 \\ p(x) &= \exp \{-1 + \lambda_1 + \lambda_2x + \lambda_3(x-\mu)^2\} \end{aligned}$$

となり、$(1.108)$が導出できる。また、最大エントロピー解がガウス分布であるとすると

$$\begin{aligned} p(x) &= \exp \{-1 + \lambda_1 + \lambda_2x + \lambda_3(x-\mu)^2\} \\ &= \exp(-1 + \lambda_1 + \lambda_2x) \exp \{\lambda_3(x-\mu)^2\} \\ &= \frac{1}{(2\pi\sigma)^{1/2}}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\} \end{aligned}$$

とおける。上式より

$$\begin{aligned} \lambda_1 &= 1-\frac{1}{2}\ln(2\pi\sigma^2) \\ \lambda_2 &= 0 \\ \lambda_3 &= -\frac{1}{2\sigma^2} \end{aligned}$$

とするとこれは$(1.105)$, $(1.106)$, $(1.107)$を満たし、$p(x)$がガウス分布であることを示す。

演習 1.35

$$\int_{-\infty}^{\infty} x p(x) \mathrm{d} x =\mu \tag{1.106}$$

と

$$\int_{-\infty}^{\infty}(x-\mu)^{2} p(x) \mathrm{d} x =\sigma^{2} \tag{1.107}$$

を使って，1変数ガウス分布

$$p(x)=\frac{1}{\left(2 \pi \sigma^{2}\right)^{1 / 2}} \exp \left\{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right\} \tag{1.109}$$

のエントロピーが

$$\mathrm{H}[x]=\frac{1}{2}\left\{1+\ln \left(2 \pi \sigma^{2}\right)\right\} \tag{1.110}$$

で与えられることを示せ．

---

$(1.104)$の微分エントロピーの定義式の$\ln p(x)$の$p(x)$に$(1.105)$を代入すると

$$\begin{aligned} H[x] &=-\int p(x) \ln \left(\frac{1}{\left(2 \pi \sigma^{2}\right)^{\frac{1}{2}}} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right)\right) dx \\ &=-\int p(x)\left(-\frac{1}{2} \ln \left(2 \pi \sigma^{2}\right)-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right)dx \\ &=\frac{1}{2} \ln \left(2 \pi \sigma^{2}\right) \int p(x) d x+\frac{1}{2 \sigma^{2}} \int p(x)(x-\mu)^{2}dx \\ &=\frac{1}{2}\left\{1+\ln \left(2 \pi \sigma^{2}\right)\right\} \end{aligned}$$

式$(1.106)$の$\displaystyle \int_{-\infty}^{\infty} x p(x) \mathrm{d} x=\mu$と式$(1.107)$の$\displaystyle \int_{-\infty}^{\infty}(x-\mu)^{2} p(x) \mathrm{d} x=\sigma^{2}$を利用した。

演習 1.36

真に凸な関数はすべての弦が関数の上にあるものとして定義される．これが関数の2階微分が正であることと等価であることを示せ．

---

テイラー展開の2次まで使うと、$x=x_0$の周りで展開したとき

$$f(x)=f\left(x_{0}\right)+f^{\prime}\left(x_{0}\right)\left(x-x_{0}\right)+\frac{1}{2} f^{\prime\prime}\left(x^{*}\right)\left(x-x_{0}\right)^{2}$$

となるような$x^{*}$が存在する。今、$f^{\prime \prime}\left(x^{*}\right)>0$なので,

$$f(x)>f\left(x_{0}\right)+f^{\prime}\left(x_{0}\right)\left(x-x_{0}\right)$$

が成り立つ。今、$x_0$を$a, b, \lambda$を使って$x_{0}=\lambda a+(1-\lambda) b$とすると、$x=a$の点で成り立つ式は

$$\begin{aligned} f(a)&>f\left(x_{0}\right)+f^{\prime}\left(x_{0}\right)\left(a-x_{0}\right) \\ &= f\left(x_{0}\right)+f^{\prime}\left(x_{0}\right)(1-\lambda)(a-b) \end{aligned}\tag{1}$$

同様に、$x=b$の点で成り立つ式は

$$\begin{aligned} f(b) &>f\left(x_{0}\right)+f^{\prime}\left(x_{0}\right)\left(b-x_{0}\right) \\ &=f\left(x_{0}\right)-f^{\prime}\left(x_{0}\right) \lambda(a-b) \end{aligned}\tag{2}$$(1)

$$\lambda f(a)+(1-\lambda) f(b)>f\left(x_{0}\right)=f(\lambda a+(1-\lambda) b)$$

となり、凸性の条件式$(1.114)$を得る。

演習 1.37

$$\mathrm{H}[\mathbf{y} \mid \mathbf{x}]=-\iint p(\mathbf{y}, \mathbf{x}) \ln p(\mathbf{y} \mid \mathbf{x}) \mathrm{d} \mathbf{y} \mathrm{d} \mathbf{x} \tag{1.111}$$

の定義と確率の乗法定理から，

$$\mathrm{H}[\mathbf{x}, \mathbf{y}]=\mathrm{H}[\mathbf{y} \mid \mathbf{x}]+\mathrm{H}[\mathbf{x}] \tag{1.112}$$

を証明せよ．

---

式$(1.104)$の$H[\mathbf{x}]= - \int p(\mathbf{x}) \ln p(\mathbf{x}) \mathrm{d}\mathbf{x}$ より、$p(\mathbf{x},\mathbf{y})$の微分エントロピーは、

$$\begin{aligned} H[\mathbf{x},\mathbf{y}] &= - \int \int p(\mathbf{x},\mathbf{y}) \ln p(\mathbf{x},\mathbf{y}) \mathrm{d}\mathbf{x} \mathrm{d}\mathbf{y} \end{aligned}$$

同時分布$p(\mathbf{x},\mathbf{y}) = p(\mathbf{y}|\mathbf{x})p(\mathbf{x})$ より、

$$\begin{aligned} H[\mathbf{x},\mathbf{y}] &= - \int \int p(\mathbf{x},\mathbf{y}) \ln (p(\mathbf{y}|\mathbf{x})p(\mathbf{x})) \mathrm{d}\mathbf{x} \mathrm{d}\mathbf{y} \\ &= - \int \int p(\mathbf{x},\mathbf{y}) (\ln p(\mathbf{y}|\mathbf{x}) + \ln p(\mathbf{x})) \mathrm{d}\mathbf{x} \mathrm{d}\mathbf{y} \\ &= - \int \int p(\mathbf{x},\mathbf{y}) \ln p(\mathbf{y}|\mathbf{x}) \mathrm{d}\mathbf{x} \mathrm{d}\mathbf{y} - \int \int p(\mathbf{x},\mathbf{y}) \ln p(\mathbf{x}) \mathrm{d}\mathbf{x} \mathrm{d}\mathbf{y} \end{aligned}$$

$\int \int p(\mathbf{x},\mathbf{y}) \mathrm{d}\mathbf{x} \mathrm{d}\mathbf{y} = \int p(\mathbf{x}) \mathrm{d}\mathbf{x}$ より、

$$\begin{aligned} H[\mathbf{x},\mathbf{y}] &= - \int \int p(\mathbf{x},\mathbf{y}) \ln p(\mathbf{y}|\mathbf{x}) \mathrm{d}\mathbf{x} \mathrm{d}\mathbf{y} - \int p(\mathbf{x}) \ln p(\mathbf{x}) \mathrm{d}\mathbf{x} \\ &= H[\mathbf{y}| \mathbf{x}] + H[\mathbf{x}] \end{aligned}$$

演習 1.38

数学的帰納法により，凸関数に関する不等式

$$f(\lambda a+(1-\lambda) b) \leq \lambda f(a)+(1-\lambda) f(b) \tag{1.114}$$

から

$$f\left(\sum_{i=1}^{M} \lambda_{i} x_{i}\right) \leq \sum_{i=1}^{M} \lambda_{i} f\left(x_{i}\right) \tag{1.115}$$

が導かれることを示せ．

---

$(1.114)$式の凸性を表す式$f(\lambda a+(1-\lambda) b) \leq \lambda f(a)+(1-\lambda) f(b)$から

$$f\left(\sum_{i=1}^{M} \lambda_{i} x_{i}\right) \leq \sum_{i=1}^{M} \lambda_{i} f\left(x_{i}\right) \cdots(*)$$

が成立することを数学的帰納法で示す。ここで、$\lambda_i\geq0$および$\sum_{i}\lambda_i = 1$である。

$(ⅰ) M=1$のとき、

$\lambda=1$なので、$(*)$式は$f(x_1) \le f(x_1)$となるので成立する。

$(ⅱ) M=2$のとき、

$\lambda_2=1-\lambda_1$であることに注意すると

$$f\left(\lambda_{1} x_{1}+\left(1-\lambda_{1}\right) x_{2}\right) \leq \lambda_{1} f\left(x_{1}\right)+\left(1-\lambda_{1}\right) f\left(x_{2}\right)$$

これは$(1.114)$式と同じなので、成立する。

$(ⅲ) M=k\ (k\ge 2)$のとき、

$$f\left(\sum_{i=1}^{k} \lambda_{i} x_{i}\right) \leq \sum_{i=1}^{k} \lambda_{i} f\left(x_{i}\right)$$

成立していると仮定すると、$M=k+1$のとき

$$\begin{aligned} f\left(\sum_{i=1}^{k+1} \lambda_{i} x_{i}\right) &=f\left(\sum_{i=1}^{k} \lambda_{i} x_{i}+\lambda_{k+1} x_{k+1}\right) \\ &=f\left(\left(1-\lambda_{k+1}\right) \frac{\sum_{i=1}^{k} \lambda_{i} x_{i}}{1-\lambda_{k+1}}+\lambda_{k+1} x_{k+1}\right) \\ & \leq\left(1-\lambda_{k+1}\right) f\left(\frac{\sum_{i=1}^{k} \lambda_{i} x_{i}}{1-\lambda_{k+1}}\right)+\lambda_{k+1} f\left(x_{k+1}\right)\hspace{1em}((1.114)式より) \end{aligned}$$

ここで、$\displaystyle \frac{\sum_{i=1}^{k} \lambda_{i}}{1-\lambda_{k+1}}=\frac{1-\lambda_{k+1}}{1-\lambda_{k+1}}=1$となることに注意して、

また、$f\left(\sum_{i=1}^{k} \lambda_{i} x_{i}\right) \leq \sum_{i=1}^{k} \lambda_{i} f\left(x_{i}\right)$の仮定が適用できるので、

$$\begin{aligned} &\left(1-\lambda_{k+1}\right) f\left(\frac{\sum_{i=1}^{k} \lambda_{i} x_{i}}{1-\lambda_{k+1}}\right)+\lambda_{k+1} f\left(x_{k+1}\right) \\ \leq&\left(1-\lambda_{k+1}\right) \sum_{i=1}^{k} \frac{\lambda_{i}}{1-\lambda_{k+1}} f\left(x_{i}\right)+\lambda_{k+1} f\left(x_{k+1}\right) \\ =&\sum_{i=1}^{k} \lambda_{i} f\left(x_{i}\right)+\lambda_{k+1} f\left(x_{k+1}\right) \\ =&\sum_{i=1}^{k+1} \lambda_{i} f\left(x_{i}\right) \end{aligned}$$

となるので、$M=k+1$でも成立することが示された。

したがって数学的帰納法より、$(1.115)$式が成立することが示された。

演習 1.39

2つの2値変数$x,y$が表1.3の同時分布を持つとする．以下の量を計算せよ．

(a) $\mathrm{H}[x]$, (b) $\mathrm{H}[y]$, (c) $\mathrm{H}[y|x]$, (d) $\mathrm{H}[x|y]$, (e) $\mathrm{H}[x,y]$, (f) $\mathrm{I}[x,y]$

これらのさまざまな量の間の関係を示す図を描け．

---

まず表1.3の同時分布$p(x,y)$を元に$p(x),p(y),p(y|x),p(x|y)$の同時分布の表を作成する。$\displaystyle p(y|x) = \frac{p(x,y)}{p(x)}$を用いる。

$$\begin{array} {rr|rr} &&&y\\ & & 0 & 1 \\ \hline x & 0 & 1/3 & 1/3 \\ & 1 & 0 & 1/3 \\ \end{array} \\ p(x,y)$$

$$\begin{array} {rr|r} & & \\ \hline x & 0 & 2/3 \\ & 1 & 1/3 \\ \end{array} \\ p(x)$$

$$\begin{array} {rr} & y \\ 0 & 1 \\ \hline 1/3 & 2/3 \\ \end{array} \\ p(y)$$

$$\begin{array} {rr|rr} &&&y\\ & & 0 & 1 \\ \hline x & 0 & 1/2 & 1/2 \\ & 1 & 0 & 1 \\ \end{array} \\ p(y|x)$$

$$\begin{array} {rr|rr} &&&y\\ & & 0 & 1 \\ \hline x & 0 & 1 & 1/2 \\ & 1 & 0 & 1/2 \\ \end{array} \\ p(x|y)$$

(a)

$$\begin{aligned} \mathrm{H}[x]&= -\sum_{i}p(x)\ln p(x) \\ &= -\left\{ \frac{2}{3}\ln\frac{2}{3}+\frac{1}{3}\ln\frac{1}{3} \right\} \\ &= \ln 3 - \frac{2}{3}\ln 2 \end{aligned}$$

(b)

$$\begin{aligned} \mathrm{H}[y]&= -\left\{ \frac{1}{3}\ln\frac{1}{3}+\frac{2}{3}\ln\frac{2}{3} \right\} \\ &= \ln 3 - \frac{2}{3}\ln 2 \end{aligned}$$

(c)

$$\begin{aligned} \mathrm{H}[y|x]&= -\sum_{i}\sum_{j}p(y,x)\ln p(y|x)dydx \\ &= -\left\{ \frac{1}{3}\ln\frac{1}{2}+\frac{1}{3}\ln\frac{1}{2} + \frac{1}{3}\ln 1 \right\} \\ &= \frac{2}{3}\ln 2 \end{aligned}$$

(d)

$$\begin{aligned} \mathrm{H}[x|y]&= -\left\{ \frac{1}{3}\ln 1 + \frac{1}{3}\ln\frac{1}{2}+\frac{1}{3}\ln\frac{1}{2} \right\} \\ &= \frac{2}{3}\ln 2 \end{aligned}$$

(e)

$$\begin{aligned} \mathrm{H}[x,y]&= -\left\{ \frac{1}{3}\ln \frac{1}{3} + \frac{1}{3}\ln \frac{1}{3}+\frac{1}{3}\ln\frac{1}{3} \right\} \\ &= \ln 3 \end{aligned}$$

または$\mathrm{H}[x,y]=\mathrm{H}[y|x]+\mathrm{H}[x]=\mathrm{H}[x|y]+\mathrm{H}[y]=\ln 3$からも求まる。

(f)

$$\begin{aligned} \mathrm{I}[x,y]&= \mathrm{H}[x] - \mathrm{H}[x|y] = \mathrm{H}[y] - \mathrm{H}[y|x] \\ &= \ln 3 - \frac{4}{3}\ln 2 \end{aligned}$$

演習 1.40

イェンセンの不等式

$$f\left(\sum_{i=1}^{M} \lambda_{i} x_{i}\right) \leq \sum_{i=1}^{M} \lambda_{i} f\left(x_{i}\right) \tag{1.115}$$

を$f(x)=\ln x$に適用し，実数集合の算術平均が，幾何平均より決して小さくならないことを示せ．

---

算術平均$\displaystyle x_a=\frac{1}{N}\sum_{i=1}^N x_i$, 幾何平均$\displaystyle x_g = \left( \prod_{i=1}^N x_i\right)^{\frac{1}{N}}$である。
これについて$x_a \ge x_g$が成立することをイェンセンの不等式を用いて示す。

問題設定で$f(x) = \ln x$に適用し、とあるので$x>0$である。よって$\ln x_a \ge \ln x_g$であることを示すことにする。すなわち

$$\ln x_a = \ln \left( \sum_{i=1}^N \frac{1}{N}x_i \right)$$

$$\ln x_g = \ln \left( \prod_{i=1}^N x_i \right)^{\frac{1}{N}} = \sum_{i=1}^N \frac{1}{N} \ln x_i$$

凹関数である$f(x)=\ln x$を用いてイェンセンの不等式を適用すると

$$\ln x_a = \ln \left( \sum_{i=1}^N \frac{1}{N}x_i \right) \ge \sum_{i=1}^N \frac{1}{N} \ln x_i = \ln x_g$$

となるので、$x_a \ge x_g$となることが示された。

演習 1.41

確率の加法･乗法定理を使って，相互情報量$I(\mathbf{x},\mathbf{y})$が

$$\mathrm{I}[\mathbf{x}, \mathbf{y}]=\mathrm{H}[\mathbf{x}]-\mathrm{H}[\mathbf{x} \mid \mathbf{y}]=\mathrm{H}[\mathbf{y}]-\mathrm{H}[\mathbf{y} \mid \mathbf{x}] \tag{1.121}$$

の関係を満たすことを示せ．

---

$$\begin{aligned} \mathrm{I}[\mathbf{x}, \mathbf{y}] &=\mathrm{KL}(p(\mathbf{x}, \mathbf{y}) \| p(\mathbf{x}) p(\mathbf{y})) \\ &=-\iint p(\mathbf{x}, \mathbf{y}) \ln \left(\frac{p(\mathbf{x}) p(\mathbf{y})}{p(\mathbf{x}, \mathbf{y})}\right) d\mathbf{x} d\mathbf{y} \end{aligned}$$

である。ここで確率の乗法定理$p(\mathbf{x},\mathbf{y})=p(\mathbf{y}|\mathbf{x})p(\mathbf{x})$から

$$\begin{aligned} \mathrm{I}[\mathbf{x}, \mathbf{y}]&=-\iint p(\mathbf{x}, \mathbf{y}) \ln \left(\frac{p(\mathbf{x}) p(\mathbf{y})}{p(\mathbf{y} \mid \mathbf{x})p(\mathbf{x})}\right) d \mathbf{x} d \mathbf{y} \\ &=-\iint p(\mathbf{x}, \mathbf{y}) \ln \left(\frac{p(\mathbf{y})}{p(\mathbf{y} \mid \mathbf{x})}\right) d \mathbf{x} d \mathbf{y} \\ &=-\iint p(\mathbf{x}, \mathbf{y}) \ln p(\mathbf{y}) d \mathbf{x} d \mathbf{y}+\iint p(\mathbf{x}, \mathbf{y}) \ln p(\mathbf{y} \mid \mathbf{x}) d \mathbf{x} d \mathbf{y}\\ &=-\int p(\mathbf{y}) \ln p(\mathbf{y}) d \mathbf{y}+\iint p(\mathbf{x}, \mathbf{y}) \ln p(\mathbf{y} \mid \mathbf{x}) d \mathbf{x} d \mathbf{y} \\ &=\mathrm{H}[\mathbf{y}]-\mathrm{H}[\mathbf{y} | \mathbf{x}] \end{aligned}$$

最後は

$$\mathrm{H}[\mathbf{y} \mid \mathbf{x}]=-\iint p(\mathbf{y}, \mathbf{x}) \ln p(\mathbf{y} \mid \mathbf{x}) \mathrm{d} \mathbf{y} \mathrm{d} \mathbf{x} \tag{1.111}$$

式を用いた。また、$p(\mathbf{x}, \mathbf{y})=p(\mathbf{x}|\mathbf{y})p(\mathbf{y})$を用いれば同様にして

$$\mathrm{I}[\mathbf{x}, \mathbf{y}] =\mathrm{H}[\mathbf{x}]-\mathrm{H}[\mathbf{x|y}]$$

が求まる。