B_{\alpha}(p) := - \sum \alpha p \ln (\alpha p) = S(\alpha p) ~~\mathrm{(as~superficial)}

野暮用でこのような量を定義したくなったので。バイアスつきエントロピーBは通常の確率分布 pに非負の実数値 \alphaをかけた変量を用いて、形式的にエントロピーを計算したもの。当然ながら、\alpha pは確率分布の特性（0 \le p \le 1,~~ \sum p = 1)を満たさない。

通常のエントロピーS(p)との関係は：

B_{\alpha}(p) = \alpha S(p) - \alpha \ln \alpha

であるので、同じことだが：

S(p) = \frac{1}{\alpha} \left( B_{\alpha}(p) + \alpha \ln \alpha \right)

また、当然ながら：

B_1(p) = S(p)

が成り立つ。

また、

\exp (B_\alpha(p)) = \left[ \frac{1}{\alpha} \exp(S(p)) \right]^\alpha

S(p)を固定したとき、B_\alpha(p)を極大化する\alphaが存在する：

\argmax_\alpha B_\alpha(p) = \exp (S(p) - 1)

このときの極大値は、

B_{\alpha^*}(p) = \exp (S(p) - 1) = \alpha^*

で、そのときの\alphaと一致する。

\alphaが大きすぎると、バイアスつきエントロピーは負値を取る。\alpha > 0 のとき、

\ln \alpha > S(p) \Leftrightarrow B_\alpha(p) < 0

存在意義

https://zenn.dev/pokapoka_jigoku/scraps/d29ce5a86d32b7