Entropia

O entropii rozkładu prawdopodobieństwa można myśleć, jako o średniej niespodziance sampli z tego rozkładu. Przy czym definicja niespodzianki to $S[u]=-\log u$, gdzie $u$ to prawdopodobieństwo.

Źródło: Probabilistic Artificial Intelligence