Sarsa笔记

首先要讲的是，sarsa也是一种基于TD的算法，他与Q-LEARNING唯一的不同是那个target_policy，或者说更新Q值的方式，之前Q-learning是选取执行动作后下一个state，当前Q表里值最大的值。
而Sarsa他与Q-Learning不同的一点就是它也是根据epilson-greedy的方式取选取要执行的下一步动作，并把这个动作的Q值代入公式里去更新Q表。
值得说明的是，这个动作并没有被执行，他也是Q表里估计的值，只不过选出来的动作不同罢了，我看莫凡视频的时候它讲的是sarsa是行动派，我当时以为是sarsa执行了这个action，是基于MC的方法，后来发现我错了，这可能也是我自己的一个误区吧。
这样一看sarsa算法流程不要太简单：