Po co kalibracja CVR?
Obserwujemy zmienność kalibracji modeli CVR w czasie, tj. czasowe niedoszacowywanie lub przeszacowywanie w zależności od warunków rynkowych oraz aktualnie uruchomionych kampanii.
Trudności - dlaczego kalibracja jest trudna?
Kalibracja CVR jest trudna z uwagi na długi okres atrybucji, tzn. od klika musi minąć 5, 10 lub 30 dni (w zależności od kampanii), aby stwierdzić czy do klika została dowiązana konwersja. W związku z tym, można liczyć w pełni poprawną ocenę kalibracji dopiero po okresie pełenj atrybucji, ignorując w ten sposób najnowsze dane. Powoduje to opóźnienie w dostosowywaniu się do warunków rynkowych.
Zaproponowana metoda
Aby nie czekać całe okno atrybucji i szybciej reagować na zmieniające się warunki rynkowe, kalibracja CVR przewiduje obecny błąd kalibracji na podstawie tego jak szybko spływają konwersje.
Okazuje się, że stosunek tego ile konwersji pojawiło się w ciągu K godzin od klika do tego ile będzie konwersji w całym oknie atrybucji jest dość stały, więc na jego podstawie będziemy wnioskować o liczbie przyszłych konwersji, a co za tym idzie o aktualnej kalibracji modeli CVR.
Szczegóły
Przyjmijmy, że liczymy kalibrację dla atrybucji 30 dniowej. Załóżmy, że liczymy kalibrację na ostatnich 14 dniach (tyle wynosi okno kalibracji).
Wszystkie kliki, które zostały wykonane w przedziale czasu [teraz-14d; teraz] dzielimy na grupy w zależności od tego kiedy powstał klik:
- [teraz - 14d; teraz - 7d]
- [teraz - 7d; teraz - 1d]
- [teraz - 1d; teraz - 1h]
Dla każdego z powyższych przedziałów zliczamy ile powstało konwersji w odpowiednim oknie od klilka, tj.
- dla [teraz - 14d; teraz - 7d] zliczamy konwersje, które pojawiły się w ciągu 7d od klika
- dla [teraz - 7d; teraz - 1d] zliczamy konwersje, które pojawiły się w ciągu 1d od klika
- dla [teraz - 1d; teraz - 1h] zliczamy konwersje, które pojawiły się w ciągu 1h od klika
Jednocześnie na danych z okresu [teraz - 30d - 28d; teraz - 30d] (czyli na danych z pełną atrybucją) liczymy statystyki jaki % konwersji z atrybucją 30d pojawia się w ciągu pierwszych 7d, 1d, 1h. Na podstawie tych statystyk oraz na podstawie obecnych zliczeń konwersji z ostatnich 14 dni estymujemy ile powstanie konwersji w pełnych 30 dniach z klików z ostatnich 14 dni. Porównując to z estymacjami modelu CVR przypisanego do tych samych klików z ostatnich 14 dni wyliczamy kalibrację (mnożnik), który stosujemy do kolejnych predykcji modelu.
Symulacja na danych z ostatniego roku pokazała, że tak zaprojektowana kalibracja zmniejsza średni błąd E:O modeli CVR.
Uwaga:
- kalibracja działa globalnie (tzn. ustawiamy jeden mnożnik dla wszystkich modeli CVR i wszystkich sklepów),
- kalibracja uruchamia się co 1 godzinę,
- celem kalibracji jest ustawienie mnożnika, tzn. kalibracja nie wpływa na wariancję przewidywań, a jedynie na E:O, tzn. expected-to-observed conversions.