Importance sampling

Chcemy znaleźć ${\mathbb{E}}_p[f(X)]$ gdzie $p$ to rozkład p-stwa $X$.

Metody Monte Carlo pomagają wyestymować wartość oczekiwaną powyżej poprzez sampling z $X$ z rozkładu p-stwa $p$: ${\mathbb{E}}_p[f(X)]\approx \frac{1}{N}{\sum }_{i=1}^{N}f(x_i),x_i\sim p$ Importance sampling pozwala zmniejszyć wariancję takiego estymatora poprzez manipulację rozkładu, z którego samplujemy: ${\mathbb{E}}_p[f(x)]=\int p(x)f(x)dx=\int p(x)\frac{q(x)}{q(x)}f(x)dx=\int q(x)[f(x)\frac{p(x)}{q(x)}]dx={\mathbb{E}}_q[f(x)\frac{p(x)}{q(x)}]$ tylko trzeba odpowiednio wybrać $q$.

Źródło: Importance Sampling Explained End-to-End, Importance Sampling - video