Quartz 4

2023.01.25 Roadmapa

3 min read

Rozwój modeli

Propozycje na roadmapę H1 2023

Mini agenda

  1. Modelowanie zachowania użytkownika
  2. Bayesowskie podejście w retargetingu
  3. Kalibracja per grupa

Modelowanie zachowania użytkownika

::: block Problem
W jaki sposób lepiej wychwycić wzór zachowania użytkowników?

Jaki KPI adresujemy?
GMV - spodziewamy się, że wzór zachowania użytkownika pozwoli na ich lepszą separację, czyli akuratniejsze przewidywanie CVR, czyli lepszą wycenę

note: Mając wzory zachowań, tzn. jeśli ktoś 4 razy oglądał buty to jest większa szansa na kupno niż jak oglądał jeden raz.

Propozycja rozwiązania

Model sekwencyjny!

Typy zachowań użytkowników trudno jest ręcznie “ocechowywać”, więc chcemy zbudować model, którego karmimy sekwencją akcji użytkownika i który w jakiś sposób embedduje sekwencję zdarzeń (wzór zachowania).

Rozkład jazdy

::: block

  1. Model behawioralny wbudowany w główny model: przeuczyć BST z datasetem sekwencyjnym, który mamy już wygenerowany; porównać z takim samym modelem bez cechy sekwencyjnej
  2. Wydzielony model behawioralny (LSTM lub Transformer); zalety:
    1. może być trenowany na wszystkich eventach, nie tylko na naszych sesjach,
    2. trenowany self-supervised - przewiduje następny event lub odpowiada na pytania dotyczące kilku następnych eventów,
    3. zacznijmy od sekwencji per sklep, później mogą to być wszystkie sklepy.
    Dodanie czasu:
    1. time-from-last-event:
      1. FS: Przygotować osobny dataset pod model behawioralny
      2. FS: Niezależnie od datasetu wyżej dataset pod CVR też będzie musiał mieć sekwencję podczas uczenia!
      3. FS: Wymaga przeliczenia wektora behawioralnego online, ale tylko po każdym evencie użytkownika
    2. time-to-latest-event:
      1. FS: wymaga innego liczenia czasu
    3. time-to-current-bid-request:
      1. FS: wymaga częstszego przeliczania wektora behawioralnego online - ale można skwantyzować czas: 1 min, 2, 4, 8, 16 min, …
      2. Problematyczny proces uczenia BNN - musimy symulować czas pomiędzy eventem a bid requestem

Zależności

Feature Store

Bayesowskie podejście w retargetingu

::: block Problem
Powoli dostosowujemy się do zmian na rynku:

  • nowe powierzchnie,
  • nowe formaty reklamowe,
  • nowe kampanie.

Obecne podejście wymaga retreningu modelu lub zaprojektowania odpowiedniej cechy.

Jaki KPI adresujemy?
GMV - im szybciej będziemy nadążać za zmianami tym nasze wyceny będą bardziej akuratne, a im bardziej akuratne tym lepsze GMV.

note: ostatni przykład: slot 006

Propozycja rozwiązania

<live>

Propozycja rozwiązania

::: block Co z tego mamy?

  1. rozkłady wag zmieniają się w czasie, więc dostosowujemy się online bez retrenowania modelu
  2. odpowiedź modelu losujemy z rozkładu, więc samplujemy dane
  3. bonus: mając rozkład na odpowiedź z modelu możemy w razie potrzeby podbijać cenę dla tych danych, które mają dużą niepewność, zbierając w ten sposób wartościowe dla nas dane do uczenia

Rozkład jazdy

::: block

  1. Dodanie warstwy binarnej do aktualnego modelu i zobaczenie jego wpływu na wyniki i czas odpowiedzi.
  2. Zmiana sposobu trenowania modelu tak, że ostatnia warstwa będzie warstwą dającą rozkład na CTR.
  3. Zaprojektowanie systemu aktualizującego online wagi ostatniej warstwy sieci.

Zależności

brak

Kalibracja per grupa

::: block Problem
Brak kalibracji per grupa.

Jaki KPI adresujemy?
GMV - jeśli niedoszacowujemy, to zwiększając wyceny możemy zacząć wygrywać aukcje, zwiększając udział w GMV; jeśli przeszacowujemy, to zmniejszając wyceny chronimy marżę (możemy tez wtedy dodatkowe środki przekierować na zdobywanie danych tam gdzie ich potrzebujemy)

Propozycja rozwiązania

Paper: On the Factory Floor ML Engineering for Industrial-Scale Ads Recommendation Models

Zależności

brak

  • cechy, cechy, cechy

2023.01.25 Roadmapa WP - Behavioural NN.excalidraw

⚠ Switch to EXCALIDRAW VIEW in the MORE OPTIONS menu of this document. ⚠

Text Elements

Link to original

Graph View