Streszczenie publikacji Instance-Conditional Timescales of Decay for Non-Stationary Learning.
Autorzy opisują problem, w którym mamy dataset, który jest niestacjonarny, tzn. zmienia się w czasie. Przykładem jest klasyfikacja zdjęć - to jak wyglądają komputery, zegarki lub gry wideo zmieniają się w czasie (slow distribution shift).
Autorzy proponują metodę łączącą offline learning z continual learning. Mają jeden model klasyfikacyjny , który ma za zadanie tylko klasyfikować. I mają drugi model , który dla konkretnej instancji i wieku tej instancji (tzn. z jak dawna pochodzi) zwraca wagę instancji, z którą uczony jest pierwszy model . Co więcej, model nie tyle zwraca dowolną wagę, tylko dla jednej instancji wybiera jeden z kilku stałych (predefiniowanych) sposób wagowania czasu (np. liniowo, eksponecjalnie, itp.).
Sposób ten spowodował, że model lepiej działa na zbiorze walidacyjnym i wolniej się starzeje. Zastosowali też tę metodę do innych datasetów, z podobnym rezultatem.