Reguła nazywana również “Brzytwą Occama”.
Jak wybierać prior do modeli bayesowskich?
Reguła ta mówi, że spośród wszystkich możliwych priorów, które są zgodne z naszą wiedzą, powinniśmy brać taki, który robi najmniej dodatkowych założeń, czyli jest najmniej informatywny. I teraz, najmniej informatywny rozkład to taki, który ma największą entropię.
I teraz - dlaczego często stosuje się rozkład normalny jako prior? Otóż ma on największą entropię spośród wszystkich rozkładów na ze znaną średnią i wariancją.