Open2023/10/03にコメント追加3

Newman (2018) で出てくるイェンセンの不等式

Employing the well-known Jensen inequality

$\log\sum_i x_i \ge \sum_i q_i \log\frac{x_i}{q_i}$

とあるが，この形のイェンセンの不等式はどう導かれるのか．本題に入る前から躓いている...

$f(x)=\log x$ は凹関数なので $\sum_i q_i = 1$ を満たす非負の実数 $q_i$ と任意の実数 $x_i$ について

\begin{align*} f\left(\sum_i q_ix_i\right) &\ge \sum_i q_i f(x_i) \\ \log\left(\sum_i q_ix_i\right) &\ge \sum_i q_i \log x_i \end{align*}

が成り立つ．両辺から $\sum_iq_i\log q_i$ を引いて

\begin{align*} \log\left(\sum_i q_ix_i\right) - \sum_iq_i\log q_i &\ge \sum_i q_i \log x_i - \sum_iq_i\log q_i \\ \log\left(\sum_i q_ix_i\right) - \log\left(\prod_i q_i^{q_i}\right) &\ge \sum_i q_i \log\frac{x_i}{q_i} \\ \log\frac{\sum_i q_ix_i}{\prod_i q_i^{q_i}} &\ge \sum_i q_i \log\frac{x_i}{q_i} \end{align*}

と変形できる．左辺が $\log\sum_ix_i$ になるか，

\log\sum_ix_i > \log\frac{\sum_i q_ix_i}{\prod_i q_i^{q_i}}

が成り立てば欲しい不等式を得るが，これを示せるのか．

Yuki

\log\sum_i x_i \ge \sum_i q_i \log\frac{x_i}{q_i}

これはイェンセンの不等式そのものではなく，それを用いて示すことのできる対数和不等式というものだった．

https://manabitimes.jp/math/1254

$f(x) = x\log x~~(x > 0)$ について， $f'(x) = \log x + 1, ~~ f''(x) = x^{-1}$ より， $f(x)$ は凸関数である．任意の正の実数 $x_1,\ldots, x_n$ と $\sum_i q_i = 1$ を満たす任意の非負の実数 $q_1,\ldots, q_n$ を考える． $\lambda_i = x_i/\sum_i x_i$ とすると，対数和不等式の右辺は，

\begin{align*} \sum_iq_i\log\frac{x_i}{q_i} &= -\sum_iq_i\log\frac{q_i}{x_i} \\ &= -\sum_i x_i\frac{q_i}{x_i}\log\frac{q_i}{x_i} \\ &= -\sum_i x_i f\left(\frac{q_i}{x_i}\right) \\ &= -\sum_i \lambda_i\left(\sum_i x_i\right) f\left(\frac{q_i}{x_i}\right) \\ &= -\left(\sum_i x_i\right)\sum_i \lambda_i f\left(\frac{q_i}{x_i}\right) \\ & \le -\left(\sum_i x_i\right)f\left(\sum_i\lambda_i\frac{q_i}{x_i}\right) \\ &= -\left(\sum_i x_i\right)f\left(\frac{\sum_iq_i}{\sum_ix_i}\right) \\ &= -\left(\sum_i x_i\right)f\left(\frac{1}{\sum_ix_i}\right) \\ &= -\left(\sum_i x_i\right)\frac{1}{\sum_ix_i}\log\frac{1}{\sum_ix_i} \\ &= -(-1)\log\sum_ix_i \\ &= \log\sum_ix_i. \end{align*}