階乗の精度のよい近似式
Gergo Nemesの近似式は、
この式を元に、スターリングの式の形に頑張って近づけていくと(近似も使いながら):
となる。Nemesの近似式よりは誤差が出て、
一応言っておくと、スターリングの
も、
※以下のアプローチは「スクラップ」であり、別のところで議論しているのでそちらを参照:
自由研究:多項試行の再考
N種の多項試行において、
で求まる。
により、エントロピー
のように表される。とはいえ、
であれば、先程の近似式を使ったときにキレイになるように、エントロピーを再定義したくなる。
すなわち、
を用いて、計算を進めると
ここで、
を定義して、次の結果を得る:
ここで、
であり、
である。(参考)
第2項以降の処理がまだだが、バイアス付きエントロピーの導入、経験分布の調整で従来と類似した形式に持ち込めることが分かった。ただし、第2項の出現は注記に値する。
第2項以降をまとめていく。まずは
となる。ここで、
。結局、
となる。
まとめると:
さて、
緑が
ちなみに、誤差の具合でいうと、
とはいえ、
となる。ここで、
となる。下限は相加相乗平均の不等式から求めた。上限は
※余談だが、
一様分布に対するバイアスつきエントロピーの範囲
について。下限については、
上限については、一極集中のときであるから、
よって、範囲として:
(色々と遊びたいが、まずはやりきろう)よって、バイアス付きエントロピーでは:
特に、
となる。ここで、
であるので(
結局:
となる。任意の経験分布について成り立つのは特筆すべきだ。
ざっくり見ると、
だということになる。
\ln W の範囲
というわけで:
の下限は:
上で述べた
となる。
そう考えると、オーダーは、