Gradient Bandit Algorithm

Sposób na wybór ramienia w problemie Multi-armed Bandit.

Idea działania

Dla każdego ramienia mamy preferencję wyboru akcji (ramienia) $a$, oznaczaną jako $H(a)\in \mathbb{R}$. Prawdopodobieństwo wyboru akcji $a$ wyliczamy używają softmaxa: $\mathbb{P}[A_t=a]=\frac{e^{H_t(a)}}{{\sum }_b{e}^{H_t(b)}}={\pi }_t(a)$

Sposób na aktualizację wag

Jest prosty wzór na aktualizację wag w Reinforcement Learning An introduction, rozdział 2.8, str. 37, równanie 2.12. Ten prosty wzór bierze się Aproksymacja stochastyczna gradient descent.

Źródło: Reinforcement Learning An introduction