aka. “Foundation models”
Multi-task do trenowania foundataion model, z którego robiony jest distillation:
- A Unified Knowledge-Distillation and Semi-Supervised Learning Framework to Improve Industrial Ads Delivery Systems
- Towards the Better Ranking Consistency A Multi-task Learning Framework for Early Stage Ads Ranking
Multi-task na sekwencji z fine-tuningiem:
- Abacus Self-Supervised Event Counting-Aligned Distributional Pretraining for Sequential User Modeling - w skrócie to pokazują, że warto dołożyć task, który ma za zadanie zliczyć znormalizowaną liczbę poszczególnych typów eventów w sekwencji usera
Multi-task model używany wprost na prodzie:
Dlaczego multi-task jest trudne: ^afb3b9.