Kullback Leibler divergence

Mamy dwa rozkłady prawdopodobieństwa: $P$ i $Q$. KL-divergence to miara podobieństwa między tymi rozkładami: $KL(P\Vert Q)={\sum }_{x}P(x)\log \left(\frac{P(x)}{Q(x)}\right)$ Można to interpretować jako że KL-divergence to wartość oczekiwana różnicy między zlogarytmizowanymi prawdopodobieństwami ($\log (P(x))-\log (Q(x))$).

metryka