Dwa rodzaje niepewności:
- aleatoric
- epistemic
Z prawa całkowitej wariancji: $$ \mathrm{Var}[y \mid x]
\mathbb{E}{\theta}!\left[\mathrm{Var}{y}!\left(y \mid x, \theta\right)\right] + \mathrm{Var}{\theta}!\left[\mathbb{E}{y}!\left(y \mid x, \theta\right)\right]
Źródło: [[Probabilistic Artificial Intelligence]] ### Aleatoric vel "data uncertainty" Niepewność, która wynika z danych, tzn. ilekroć powtarzamy eksperyment z takim samym inputem, to dostajemy różny output - może wynikać z tego, że proces jest losowy lub z niedokładnego pomiaru. W praktyce (w modelu) modelujemy ją poprzez zwracanie przed model dwóch wartości - $\mu$ i $\sigma$, które są parametrami rozkładu normalnego (lub jakiegoś innego). Następnie, podczas trenowania, samplujemy z tego rozkładu. ### Epistemic vel "model uncertainty" Niepewność, która wynika z braku danych. Nazywana też [[Bayesian Neural Network]]. W praktyce (w modelu) modelujemy tak, że **wagi** są rozkładami (musimy zdefiniować prior i posterior). Na końcu otrzymujemy normalną wartość, więc możemy przyłożyć taki sam loss jak gdyby uczyć zwykłą sieć neuronową. W [[Active learning]] możemy wybierać takie dane, które mają dużą epistemic uncertinty.