W momencie gdy mamy dostęp do bardzo dużej ilości danych (np. w problemie CTR, CVR prediction problem) możemy zamiast tradycyjnego uczenia z wieloma epokami, postawić na uczenie, w którym przechodzimy przez każdy pojedynczy przypadek tylko raz. Stworzony został pod to specjalny optimizer: Follow The Regularized Leader. Źródło: On the Factory Floor ML Engineering for Industrial-Scale Ads Recommendation Models