Maximum a posteriori

To jest taka estymacja parametrów jakiegoś modelu, które uwzględnia jednocześnie prior (przekonania jakie mieliśmy na temat tych parametrów) oraz likelihood (czyli prawdopodobieństwo uzyskania danych treningowych z pomocą tych konkretnie parametrów). Maximum likelihood estimate bierze pod uwagę tylko tą drugą część.

Dokładniej mówiąc, Maximum a posteriori znajduje wartość, dla której posterior jest największy.

Co więcej, jeśli rozpiszemy Maximum a posteriori (za Probabilistic Artificial Intelligence) to dostaniemy coś takiego: ${\theta }_{\mathrm{MAP}}=\arg {\max }_{\theta \in \Theta }\mathbb{P}(\theta \mid x_{1:n},y_{1:n})=\dots =\arg {\min }_{\theta \in \Theta }[-\log \mathbb{P}(\theta )+{\ell }_{\mathrm{nll}}(\theta ;D_n)]$ gdzie ${\ell }_{\mathrm{nll}}(\theta ;D_n)$ to jest dokładnie Maximum likelihood estimate, a $-\log \mathbb{P}(\theta )$ pełni rolę regularyzacji. I najlepsze - jeśli przyjmiemy za prior rozkład normalny, czyli $\mathbb{P}(\theta )\sim \mathcal{N}(.,.)$ to dostaniemy regularyzację L2. Jeśli weźmiemy za prior Rozkład Laplace to dostaniemy regularyzację L1. Jeśli za prior weźmiemy rozkład jednostajny, to Maximum a posteriori jest równoznaczne MLE.

Źródło: Probabilistic Artificial Intelligence