Mamy dwa rozkłady prawdopodobieństwa: i . KL-divergence to miara podobieństwa między tymi rozkładami: Można to interpretować jako że KL-divergence to wartość oczekiwana różnicy między zlogarytmizowanymi prawdopodobieństwami ().
Można też powiedzieć, że mierzy niespodziankę kiedy obserwujemy próbki z rozkładu podczas gdy zakładamy (błędnie), że pochodzą z rozkładu . Zobacz Cross-entropy.
Forward KL-divergence to . Reverse KL-divergence to . W obu przypadkach to rzeczywisty rozkład podczas gdy to ten, jaki założyliśmy.
Zobacz Forward KL-divergence jako MLE