Reparametrization trick

Problem

Załóżmy, że chcemy policzyć gradient wartości oczekiwanej ${\nabla }_{\lambda }{\mathbb{E}}_{\theta \sim q_{\lambda }}[f(\theta )]$. Nie możemy tutaj wepchnąć gradient pod wartość oczekiwaną. Więc jak to policzyć?

Zastosowania problemu

Kwestia wspomnianego problemu może pojawić się w sieciach neuronowych gdy chcemy robię backpropagację przez warstwę, która ma sampling (np. w Variational Auto Encoder).

Reparametrization trick

Trick polega na tym, aby spróbować zastąpić zmienną losową $\theta$ pochodzącą z rozkładu $q_{\lambda }$ poprzez inną zmienną $ϵ$ pochodzącą z ustalonego rozkład prawdopodobieństwa $\varphi$, niezależnego od $\lambda$. Aby to zrobić, szukamy takiego rozkładu $\varphi$ oraz funkcji $g$, że $\theta =g(ϵ,\lambda )$. Jeśli je znajdziemy, to ${\mathbb{E}}_{\theta \sim q_{\lambda }}[f(\theta )]={\mathbb{E}}_{ϵ\sim \varphi }[f(g(ϵ,\lambda ))]$, czyli ${\nabla }_{\lambda }{\mathbb{E}}_{\theta \sim q_{\lambda }}[f(\theta )]={\mathbb{E}}_{ϵ\sim \varphi }[{\nabla }_{\lambda }f(g(ϵ,\lambda ))]$, a więc udało wsadzić się gradient pod wartość oczekiwaną. Wtedy wartość oczekiwaną gradientu możemy estymować poprzez Monte Carlo, czyli po prostu mając dużo danych robimy średnią z gradientów i tyle. Dostajemy w ten sposób niezbiasowaną estymację gradientu wartości oczekiwanej.

Uwaga: Czasami da się znaleźć taki rozkład i funkcję, czasami nie.

Mniej formalnie: zastępujemy rozkład z którego musimy samplować, a który ma parametr przez który leci backpropagacja, poprzez rozkład ustalony (z ustalonymi parametrami), którego wyjście jest później przekładane przez jakąś funkcję zależną od parametru przez który leci backpropagacja.

Przykład

1. Rozkład dyskretny można reparametryzować poprzez rozkład Gumbela (Gumbel-softmax trick = concrete distribution.)
2. Wielowymiarowy rozkład normalny można reparametryzować na standardowy rozkład normalny i później go przekształcić. Wykorzystuje się do tego Rozkład Choleskiego. Samplowanie z wielowymiarowego rozkładu normalnego

Źródło: Probabilistic Artificial Intelligence