Cross-entropy

Cross-entropy mierzy to jaka jest średnia niespodzianka (czyli entropia) kiedy zakładamy, że dane pochodzą z rozkładu $q$ podczas gdy naprawdę pochodzą z innego rozkładu $p$. Zapisując zwięźle $H(p||q)={\mathbb{E}}_{x\sim p}[S[q(x)]]={\mathbb{E}}_{x\sim p}[-\log q(x)]$

Zależność między cross-entropy a Kullback Leibler divergence jest taka: $H[p||q]=H[p]+KL(p||q)$i intuicyjnie oznacza, że średnia niespodzianka to suma samej w sobie niepewności $p$ oraz dodatkowej niespodzianki wynikającej z tego, że założyliśmy niepoprawny rozkład $q$.

Źródło: Probabilistic Artificial Intelligence