https://arxiv.org/pdf/2209.05310.pdf 2 Używają Online Learning w Deep Learningu.
Robią Negative down-sampling, jednocześnie wagują każdy negatywny przykład poprzez (czyli Kalibracja modeli).
Jako loss używają Binary Cross-Entropy. Dodatkowe założenie jest takie - przychodzi query, trzeba wybrać spośród wielu reklam te, które wyświetlimy. Chcą więc dorzucić dodatkowy loss - reklamy z klikiem powinny mieć wyższy CTR niż reklamy bez klika - Rank loss. Użycie rank lossa poprawiło wyniki o 0.81%. Używają Distillation - poprawiło wyniki o 0.41%. Curriculum learning - na początku trenują na Binary Cross-Entropy, później dopiero dokładają kolejne funkcje straty.
Jako modelu używają DCNv2 zamiast AutoInt.
Pochylają się też nad Niereprodukowalność w deep learningu.
Ich model jest rozbity na części: Model factorization.
Publikacja od Google !
While a typical log-likelihood objective in supervised training will result in zero aggregate calibration bias across a validation set, per-example bias is often non-zero.