Dwa rodzaje niepewności:
- aleatoric
- epistemic
Aleatoric vel “data uncertainty”
Niepewność, która wynika z danych, tzn. ilekroć powtarzamy eksperyment z takim samym inputem, to dostajemy różny output - może wynikać z tego, że proces jest losowy lub z niedokładnego pomiaru.
W praktyce (w modelu) modelujemy ją poprzez zwracanie przed model dwóch wartości - i , które są parametrami rozkładu normalnego (lub jakiegoś innego). Następnie, podczas trenowania, samplujemy z tego rozkładu.
Epistemic vel “model uncertainty”
Niepewność, która wynika z braku danych. Nazywana też Bayesian Neural Network.
W praktyce (w modelu) modelujemy tak, że wagi są rozkładami (musimy zdefiniować prior i posterior). Na końcu otrzymujemy normalną wartość, więc możemy przyłożyć taki sam loss jak gdyby uczyć zwykłą sieć neuronową.
W Active learning możemy wybierać takie dane, które mają dużą epistemic uncertinty.