Binary Cross-Entropy

Dlaczego używa się binary cross-entropy jako funkcji straty?

Minimalizacja KL-divergence pomiędzy prawdziwym rozkładem $p$ a modelem $q_{\lambda }$ ($\lambda$ to parametry modelu) to to samo co minimalizacja cross entropy (bo $\arg {\min }_{\lambda }KL(p||q_{\lambda })=\arg {\min }_{\lambda }H[p||q]-H[p]=\arg {\min }_{\lambda }H[p||q]$ zobacz tutaj). A z kolei minimalizacja KL-divergence to inaczej maximum likelihood estimate parametrów $\lambda$ (zobacz Forward KL-divergence jako MLE). Czyli cross-entropy to funkcja straty, która powoduje, że cała optymalizacja robi MLE.

Źródło: Probabilistic Artificial Intelligence