[自己情報量]
I(x)=-\ln P(x)
\log を自然対数と常用対数で区別していない教科書がありますが、自然対数で正しいようです(どっちかにして欲しい)。
起こりやすい事象ほど情報量が少なく、起こりにくい事象ほど情報量が多い。
(意訳 : 珍しい事象には”意味”がある。)
[平均情報量(エントロピー)]
H(x)=-\Sigma P(x)\ln P(x)
エントロピーは常に非負の値をとる。
決定的な分布のエントロピーは低く、一様分布に近い分布のエントロピーは高い。
[カルバックライブラー]
D_{KL}(P||Q)=-\Sigma _i P(x)\ln {P(x)}{Q(x)}
2つの確率分布がどのように異なるかを知る指標。
非負である。PとQが同じ分布であれば0になる。