https://arxiv.org/pdf/2304.01910.pdf
Badają 3 rodzaje losowej zmienności w sieciach neuronowych:
- kolejność w jakiej podajemy dane do uczenia,
- augmentation,
- seed podczas losowej inicjalizacji wag sieci.
Sprawdzają jaki wpływ mają te rodzaje losowości na wariancję metryki na zbiorze testowym.
1. konkluzja
Włączając tylko jedną z rodzajów losowości (czyli mając pozostałe losowości wyłączone) dostaje się taką same wariancję wyników na test set jak gdyby mieć wszystkie 3 losowości włączone. Co więcej, taką samą wariancję dostaje się gdy wyłączy się wszystkie losowości, a zmieni się jedną (!) wagę podczas inicjzliacji o 1.001. Wniosek: sieć jest ekstremalnie wrażliwa na jakąkolwiek zmianę, nawet bardzo małą.
2. konkluzja
Wysoka wartość metryki na zbiorze testowym (czyli “szczęście” w doborze seedów) nie koreluje z wysoką wartością metryki na innym zbiorze testowym. Wniosek: nie ma sensu fitować sieci pod odpowiedni seed.