skrót: ERM
W teorii uczenia zamiast model mówi się hipoteza, a dokładniej model/hipoteza zdefiniowana jest jako funkcja .
Aby nauczyć model posiadamy zbiór , który został wylosowany z z rozkładem . Nasz model ma pewien prawdziwy błąd (true error), który możnaby policzyć na podstawie oraz , ale nie mamy do nich dostępu. Dostęp mamy jedynie to empirycznego błędu (empirical error), tzn. policzonego na zbiorze . empirical error = generalization error = risk.
Empirical error i true error mogą się rozjeżdżać, z powodu przeuczenia.
Realizability assumption - zakładmy, że istnieje taka hipoteza dla której true error jest równy 0. W praktyce raczej tak nie jest, ale operujemy na takim założeniu. Przy takim założeniu dla hipotezy empirical error też jest równy 0.