Policy evaluation

Policy evaluation w reinforcement learningu oznacza tylko tyle co wyliczenie $v_{\pi }$ mając daną politykę $\pi$ oraz dokładny model środowiska (czyli to samo założeniu co w Dynamic programming (RL)).

Czasami nazywany jest prediction problem.

Iterative policy evaluation (algorytm)

Zakładając, że znamy dokładnie dynamikę środowiska (czyli znamy prawdopodobieństwa przejścia do stanu po akcji) i mamy daną politykę $\pi$ (czyli znamy prawdopodobieństwa wyboru akcji w stanie) to możemy iteracyjnie budować kolejne Value function $v_0,v_1,v_2,...$ (zacznając od losowej Value function) w prosty sposób, tj. $v_{k+1}(s)={\sum }_{s^{\prime }}p(r,s^{\prime }|s,a)(r+\gamma v_k(s^{\prime }))$Czyli po prostu Value function dla akcji $s$ w kolejnej iteracji to wyliczenie jej z jej “sąsiadów”. Ciąg otrzymanych Value function jest zbieżny gdy $k\to \infty$.

Algorytm nazywany jest czasami value iteration.

Źródło: Reinforcement Learning An introduction