Kalibracja po Negative down-sampling
Jeśli zostawiliśmy 10% negatywnych przykładów i uczyliśmy model w downsamplowanej przestrzeni do musimy przywrócić oryginalną przestrzeń poprzez: gdzie to p-stwo zwrócone przez model, a to downsampling rate (u nas 10%). Źródło: ^ee71b8
Kalibracja z użyciem Transfer Learning
Jeśli ma się wydzielony dataset z niezbiasowanymi danymi (np. w przypadku systemów rekomendacyjnych - rekomendacje wybrane losowo, a nie przez model), to można użyć Transfer Learning w taki sposób, że najpierw uczymy model na dużym, zbiasowanm datasecie, a później kilka ostatni warstw dotrenowujemy na niezbiasowanym datasecie. Źródło: https://tech.instacart.com/calibrating-ctr-prediction-with-transfer-learning-in-instacart-ads-3ec88fa97525
Isotonic Regression
Temperature scaling
Źródło: Calibration in Deep Learning A Survey of the State-of-the-Art
Trenowalna kalibracja w sieciach
Importance weighting
Zobacz: A Short Survey on Importance Weighting for Machine Learning