Model liniowy ma dwie oczywiste wady:
- jest liniowy - żeby złamać liniowość w przypadku cechy ciągłej możemy podzielić ją na buckety i podawać nr bucketu jako cechę - tylko trzeba zadbać o to, żeby granice między bucketami powstawały automatycznie (za Practical Lessons from Predicting Clicks on Ads at Facebook)
- brak w nim interakcji między cechami, tzn. żeby mieć cechę wyższego poziomu musimy złączyć dwie z nich (np. kolor_czerwony_oraz_rozmiar_duży) - w ten sposób powstaje mnóstwo cech z czego większość jest nieprzydatna
Żeby zaradzić powyższemu można użyć drzew - trenujemy GBT i z każdego powstałego drzewa jako cechę wyciągamy numery liści (jako one-hot) w których wylądowaliśmy. I na takich cechach trenujemy model liniowy. Źródło: Practical Lessons from Predicting Clicks on Ads at Facebook.