[自己情報量]
\( I(x)=-\ln P(x)\)
\(\log \)を自然対数と常用対数で区別していない教科書がありますが、自然対数で正しいようです(どっちかにして欲しい)。
起こりやすい事象ほど情報量が少なく、起こりにくい事象ほど情報量が多い。
(意訳 : 珍しい事象には”意味”がある。)
[平均情報量(エントロピー)]
\( H(x)=-\Sigma P(x)\ln P(x)\)
エントロピーは常に非負の値をとる。
決定的な分布のエントロピーは低く、一様分布に近い分布のエントロピーは高い。
[カルバックライブラー]
\( D_{KL}(P||Q)=-\Sigma _i P(x)\ln {P(x)}{Q(x)}\)
2つの確率分布がどのように異なるかを知る指標。
非負である。PとQが同じ分布であれば0になる。