Problem
Starają się zaprojektować sieć neuronową, która będzie przewidywała p-stwo konwersji na podstawie sekwencji zdarzeń użytkownika.
Uwagi
- Zwracają uwagę na fakt, że systemy produkcyjne w znacznym stopniu opierają się na cechach ręcznych, zliczeniowych
Zaproponowane rozwiązanie
Najpierw trenują sieć (faza pretraining), która ma 3 sub-taski:
- Abacus - czyli sieć ma nauczyć się zliczać liczbę poszczególnych eventów w sekwencji wejściowej
- Masked Sequence Modeling - sieć ma nauczyć się rekonstruować zamaskowane eventy i timestampy w sekwencji wejściowej
- Barlow Twins, czyli sieć ma nauczyć się podobne sekwencje przekładać na podobne embeddingi Dla wszystkich tych subtasków sieć ma wspólny fragment, który uczy się embeddować sekwencję zdarzeń. Embedder to GRU lub BERT.
Następnie (faza finetuning) Embedder wyciągają i fine-tunują go na konkretnym tasku, np. przewidywaniu szansy na purchase.
Wnioski
- Pokazują, że task polegający na zliczaniu liczby poszczególnych eventów jest zaskakująco dobrym taskiem w fazie pre-treningu