Policy improvement

Inaczej control problem, czyli sposób na znajdowanie optymalnej policy.

Policy improvement theorem

Jeśli mamy daną Policy jak i również Value function $v_{\pi }$ to jeśli znajdziemy dla stanu $s$ taką akcję $a$, że $q_{\pi }(s,a)\ge v_{\pi }(s)$ gdzie $a={\pi }^{\prime }(s)$ to $v_{{\pi }^{\prime }}(s)\ge v_{\pi }$ dla każdego $s$, czyli znaleźliśmy lepszą politykę! Czyli wystarczy lokalnie znaleźć lepszą akcję, żeby otrzymać lepszą politykę.

Policy improvement algorithm

Algorytm polegający na iteracyjnym poprawianiu Policy według policy improvement theorem. Taka zachłanna (iteracyjna) procedura prowadzi to znalezienia optymalnej policy!

Źródło: Reinforcement Learning An introduction