Brier skill score

Brier score

$BS=\frac{1}{N}{\sum }_i(predictio{n}_i-outcom{e}_i{)}^2$

Dekompozycja

Brier Score można zapisać jako $BS=UNC+REL-RES$ gdzie

Uncertainty

UNC=s (1-s)$$$$s = \frac{\sum_i outcome_i}{N} Czyli w przypadku CTR, CVR prediction problem $s$ to empiryczny CTR. $UNC$ mierzy jak łatwo jest przewidywać - jeśli $UNC$ jest niski, czyli $s$ jest bliski 0 lub 1, to niepewność jest niska, bo wystarczy dawać jako forecast zawsze 0 lub 1 i będą dobre wyniki.

Uwaga: Uncertainty zależy tylko od outcome, nie od predykcji; jest charakterystyką problemu.

Resolution

Chcielibyśmy nie dawać cały czas takiej samej odpowiedzi, tylko tam gdzie p-stwo jest wysokie to predykcja wysoka, a gdzie p-stwo niskie tam predykcja niska. Patrzymy więc na predykcje, dzielimy predykcje na kubełki (kwantyle). W kubełku $k$ liczymy rzeczywisty CTR ($s_k$) i odnosimy to do globalnego rzeczywistego CTRa ($s$). $RES={\sum }_k(s_k-s{)}^2$ Jeśli nasze predykcje będą dobre to $s_k$ będzie się znacznie różniło do $s$, więc $RES$ będzie duże. Jeśli będziemy predykować zawsze to samo, to $s_k=s$ i $RES=0$.

Reliability

Tak jak w Resolution, dzielimy predykcje na kubełki. Dla każdego kubełka liczymy średnią predykcję i średni rzeczywisty CTR: $REL={\sum }_k(\frac{{\sum }_{i\in k}predictio{n}_i}{N_k}-s_k{)}^2$+ wagujemy jeszcze po wielkości kubełka. Reliability wyraża to samo co Expected Calibration Error, tylko ECE zamiast kwadratu robi wartość abolutną.

Źródło: Brier score composition – A mini-tutorial

metryka