Kalman filter

Inna nazwa: Dynamic Linear Model

Wyobraźmy sobie, że mamy dwa czujniki, zwracające (niezależnie) estymacje temperatury, w postaci rozkładu prawdopodobieństwa, które to rozkłady możemy scharakteryzować poprzez średnią ${\mu }_i$ oraz odchylenie standardowe ${\sigma }_i$ (uwaga: rozkłady nie muszą być normalne).

Zastanawiamy się w jaki sposób połączyć (poprzez liniową kombinację) informacje z dwóch czujników, żeby dostać najlepszą estymację faktycznej temperatury. Okazuje, że optymalnym estymatorem jest taki, w którym wagujemy poszczególne estymacje poprzez odwrotności ich odchyleń standardowych ${\sigma }_i$, czyli końcowy estymator to $\frac{\frac{1}{{\sigma }_1}}{\frac{1}{{\sigma }_1}+\frac{1}{{\sigma }_2}}{\mu }_1+\frac{\frac{1}{{\sigma }_2}}{\frac{1}{{\sigma }_1}+\frac{1}{{\sigma }_2}}{\mu }_2$ Źródło: An Elementary Introduction to Kalman Filtering

Definicja formalna

Mamy prior stanu $X_0\sim \mathcal{N}(\mu ,\Sigma )$ oraz motion model $X_{t+1}=F{X}_t+{ϵ}_t$ i sensor model $Y_t=H{X}_t+{\eta }_t$ gdzie $F\in {\mathbb{R}}^{d,d},{ϵ}_t\sim \mathcal{N}(0,{\Sigma }_x),H\in {\mathbb{R}}^{m,d},{\eta }_t\sim \mathcal{N}(0,{\Sigma }_y)$

Uwagi

1. $F$ oraz $H$ mogą zależeć od $t$ (to jest bardzo ważne!)
2. Zakładamy, że $F$ oraz $H$ znamy (to są najczęściej po prostu nasze dane)
3. Jeśli ${ϵ}_t$ pochodzi z rozkładu normalnego o średniej różnej od 0, to tym samym modelujemy dryft w danych

Przypadki szczególne

1. Kalman filter jest szczególnym przypadkiem Bayesian filtering.
2. Bayesian linear regression jest szczególnym przypadkiem Kalman filtering! Dlaczego? Bo Wystarczy położyć $F=I$, ${ϵ}_t=0$, $X$ to wagi których szukamy a $H$ jest zależny od $t$ i to są dane, które obserwujmy. wówczas wzorki redukują się do liniowej regresji bayseowskiej.
3. Jeśli położymy $F=I$ to mam tzw. random walk czyli modelujemy to, że nasz wagi mogą zmieniać się w czasie.

Źródło: Probabilistic Artificial Intelligence