A Unified Knowledge-Distillation and Semi-Supervised Learning Framework to Improve Industrial Ads Delivery Systems

Rozwiązany problem: jak zrobić lepszy system rankujący reklamy.

Uwaga: starają się estymować np. CTR, ale nie ma nacisku na wycenę.

System rankujący reklamę w Meta jest wielu-etapowy (multi-stage). Tzn. że jest kilka modeli ułożonych w kaskadę od najprostszego (najszybszego) do najbardziej skomplikowanego (najwolniejszego). Każdy z nich filtruje zbiór reklam tak, że do kolejnego etapu przechodzi tylko TOP-k reklam z obecnego etapu.

Tradycyjnie w takim modelu multi-stage każdy etap uczony jest tylko na danych ground-truth, tzn. na reklamach faktycznie pokazanych użytkownikowi, dla których mamy etykiety mówiąc “czy kliknął”, “czy skonwertował”, itd. Skutek tego jest taki, że wcześniejsze etapy są uczone na znacznie innych danych niż te, które musi wyceniać na produkcji.

Bias / calibration

Jeśli model estymujący CTR jest unbiased (tzn. jego błąd predykcji $e\sim \mathcal{N}(0,{\sigma }_1^2$ )) to wybierając najlepszą reklamę spośród $n$ kandydatów, predykcja dla tej najlepszej reklamy będzie zbiasowana!

Załóżmy, że prawdziwy CPM reklamy pochodzi z rozkładu normalnego $y_i\sim \mathcal{N}(\mu ,{\sigma }^2)$. Niech $z_i$ to będzie zmienna losowa reprezentująca predykcję modelu. Model jest unbiased. Wtedy $z_i\sim \mathcal{N}(\mu ,{\sigma }^2+{\sigma }_1^2)$.

Co jednak dzieje się na produkcji? Wybieramy top-$k$ reklam (u nas w szczególności $k=1$), które pokazujemy użytkownikowi. Okazuje się, że reklama na pozycji $i$ (wśród posortowanych reklam po scorze z modelu, $i\le k<n$) ma predykcję zbiasowaną, ponieważ: $\mathbb{E}(z_i|\mu ,{\sigma }^2,{\sigma }_1^2,n)=\mu +\sqrt{{\sigma }^2+{\sigma }_1^2}{\Phi }^{-1}\left(\frac{n-i-\alpha +1}{n-2\alpha +1}\right)$ gdzie $\alpha =3.375$, $\Phi$ to CDF rozkładu normalnego.

Intuicyjnie: mimo, że model jest średnio skalibrowany na całej populacji, to dla części kalibracji niedoszacowuje, a dla części przeszacowuje. Więc, kiedy wybieramy top-$k$ reklam na podstawie predykcji, to naturalnie częściej wybieramy te, na których model przeszacował.

Rozwiązanie

Semi-Supervised Knowledge Distillation

W takiej wieloetapowej (multi-stage) predykcji model z kolejnego kroku ($M_j$) jest nauczycielem dla modelu z kroku poprzedniego ($M_{j-1}$). Dlaczego? Bo $M_j$ jest dobrze skalibrowany na swoim datasecie, podczas gdy model $M_{j-1}$ nie. Więc jak to w Distillation, model $M_{j-1}$ trenujemy na labelach nie-binarnych pochodzących z modelu $M_j$.

Feature Selection

Oprócz distillation (jak wyżej) to modele na wcześniejszym etapie mają mniej cech. W związku z tym mają również proces oparty na Perturbation Feature Importance, który pozwala im wybrać cechy do prostszego modelu.

Foundation Models

Dla modelu z ostatniego etapu robią Distillation z dużego foundation Model. Co więcej, student-model, mający przewidywać CTR, uczony jest multi-task w taki sposób, że dodajemy mu 1) dependent task (np. CVR, reachability; dependent task bierze predykowany CTR jako wejście do kolejnej warstwy) oraz 2) auxiliary task (np. czy kliknie w inną reklamę na tej stronie, ile czasu spędzi na stronie, itp.).