rekid -⇒ma wiele-⇒ slotów -⇒ma wiele -⇒ touchpointów -⇒ ma wiele -⇒ kreacji
Kreacja może być adjustable/unconverged = trzeba wybrać dla niej skin i kolor
2022-11-17: 3500 unikalnych creationID na wp 7800 unkialnych creationID na sspbc
Pytania
- jak bardzo kreacje są zmienne w czasie? jak długo żyje kreacja?
- jaki wpływ ma kreacja na CTR?
- sprawdzić jaka jest zmienność CTR kreacji per slot - policzyć CTR slotu, CTR slot x kreacja, stosunek jedngo do drugiego i zobaczyć czy te stosuneki mają dużą zmienność
Fakty
- creationID jest unikalne względem kampanii (workflowID)
- licz click/view:
- Kreacja wyświetlała się na różnych slotach, z mniejszym lub większym viewability. W związku z czym na c/d ma wpływ viewability slotów, na których się wyświetliła wcześniej. Kreacje będziemy zawsze oceniać w ramach konkretnego slotu, więc powinno nas interesować tylko c/v!
- nie musimy dbać o przegrane, tzn. działamy tylko dla tych aukcji, które wygraliśmy
to, jaką kreację wybierzemy, nie ma wpływu na win ratio!- jak długo żyje kreacja:
- nie dłużej niż kampania
- jeśli zmienimy rotator na inny niż w configu kampanii to to jest ok (info od Natalii)
- w rotatorze nie interesuje nas konkretna wycena, tylko uszeregowanie kreacji w ramach kampanii i slotu
- sloty z takim samym ID istnieją i na mobile i na desktop (tak samo creationID)
- oceniamy (rankujemy) zawsze w ramach jednego slotu, więc viewability slotu nie powinno mieć wpływu na output
Dodatkowe przecięcia
- slotID - były sytuacje, w których kreacja 500x500 mogła się wyświetlić na slocie, ale była przeskalowywana do 100x100, co wpływa na klikalność
- device (mobile/desktop) - być może kreacje powinna wyświetlać się w innym rozmiarze na mobile/desktop, mimo że będzie na tym samym slocie
To jest problem rankingowy, tzn. próbujemy wybrać najlepszą kreację w ramach slotu i device. Więc jeśli zrobimy model liniowy to oceniając w ramach slotu wpływ na output będzie mieć tylko i czyli tak, jak gdybyśmy mieli tylko te cechy!
Priors
Na WP globalnie nasz c/d
Notatka dla Natalii:
Jaki problem rozwiązujemy?
Kampania może mieć wiele touchpointów, z kolei touchpoint może mieć wiele kreacji, czyli sposobów wyświetlenie reklamy. Problem, który rozwiązujemy, polega na wyborze kreacji, w której wyświetlimy reklamę - wybór ten ma znamienny wpływ na CTR reklamy. Obecnie proces wyboru kreacji dokonuje się przed wyceną kampanii, tzn. wyceniając ad-request wiemy już w jakiej kreacji zostanie wyświetlona reklama.
Dlaczego i po co?
Kluczowym spostrzeżeniem jest fakt, że kreacje żyją krótko, przez co algorytm wyboru kreacji (rotator) musi eksplorować przestrzeń. Stawiamy hipotezę, że obecne rotatory przeprowadzają eksplorację w sposób nieoptymalny, tzn. 1) dla ustalonego odsetka bid-requestów wybierają losową kreację; dla części bid-requestów wybierają kreację z najwyższym CTR, najwyższym ROAS lub z najmniejszą liczbą wyświetleń (epsilon greedy algorithm) lub 2) wybierają kreację z największą powierzchnią (zupełny brak eksploracji).
Algorytmem, który chcemy wykorzystać do wyboru kreacji jest mutli-armed bandit (podobnie jak w CPC).
Co optymalizujemy?
Optymalizujemy CTR kreacji. Dlaczego nie CVR lub ROAS? Dlatego, że idziemy w stronę, w której modele CVR nie wiedzą co ani gdzie użytkownik kliknął reklamę, tzn. są pozbawione cech związanych ze slotem - z tego powodu wybór kreacji nie będzie miał wpływu na wycenę modelu CVR.
Plan działania:
- rotator oparty na Bernoulli Bandits Problem oparty tylko na id kreacji
- implementacja cechy w Feature Store liczącej dane do Thompson Samplingu
- implementacja rotatora po stronie biddera
- test A/B rotatorów
- rotator oparty na większej liczbie przecięć (np. creationID x slotID x device)
- rotator oparty na multi-armed bandit with context
- uwzględnienie wyboru kreacji w procesie wyceny - czyli pozbycie się rotatora - docelowo powinniśmy iść w kierunku, który pozwoli nam wycenić wszystkie możliwości (tj. kampanię, slot oraz kreację) w ramach jednego bid-requestu - wtedy nie będziemy opierać się na heurystykach; ponadto w procesie wyboru slotu i kampanii powinna być uwzględniona eksploracja