强化学习算法的简单总结，主要包括基于值函数/策略函数的学习方法、Actor-Critic算法。

强化学习笔记： 强化学习基础 、基于值函数的学习方法、基于值函数的学习方法

强化学习的目标

强化学习的目标是学习到一个策略${\pi }_{\theta }(a\mid s)$，来最大化这个策略的期望回报。希望智能体能够获得更多的回报。本质上是策略搜索。

$$J(\theta )=E_{\tau \sim p_{\theta }(\tau )}[\sum _{t=0}^{T-1}{\gamma }^t{r}_{t+1}]$$$$J(\theta )=\int p_{\theta }(\tau )\cdot G(\tau )\mathrm{d}\tau$$

基于值函数的学习方法

策略迭代

已知模型。利用贝尔曼方程（算均值）迭代计算出$V(s)$，再算出$Q(s,a)$。选择最好的动作$a$去优化策略$\pi (s)$。

$$\mathrm{\forall }s,V^{\pi }(s)=E_{a\sim \pi (a\mid s)}{E}_{s\prime \sim p(s\prime \mid s,a)}[r(s,a,s\prime )+\gamma V^{\pi }(s\prime )]$$$$Q^{\pi }(s,a)=E_{s\prime \sim p(s\prime \mid s,a)}[r(s,a,s\prime )+\gamma V^{\pi }(s\prime )]$$$$\mathrm{\forall }s,\pi (s)=\arg \underset{a}{max}Q(s,a)$$

值迭代

已知模型。利用贝尔曼最优方程迭代算出$V(s)$，再算出$Q(s,a)$。选择最好的动作$a$去优化策略$\pi (s)$。

$$\mathrm{\forall }s\in S,V^{\ast }(s)=\underset{a}{max}{E}_{s^{\prime }\sim p(s^{\prime }\mid s,a)}[r(s,a,s^{\prime })+\gamma V^{\ast }(s^{\prime })]$$$$Q^{\pi }(s,a)=E_{s\prime \sim p(s\prime \mid s,a)}[r(s,a,s\prime )+\gamma V^{\pi }(s\prime )]$$$$\mathrm{\forall }s,\pi (s)=\arg \underset{a}{max}Q(s,a)$$

蒙特卡罗

未知模型。从$(s,a)$随机游走，采集N个样本。使用所有轨迹回报平均值近似估计$Q(s,a)$ ，再去改进策略。重复，直至收敛。

$$Q^{\pi }(s,a)\approx {\hat{Q}}^{\pi }(s,a)=\frac{1}{N}\sum _{n=1}^{N}G({\tau }^{(n)})$$

时序差分算法

无需知道完整轨迹就能对策略进行评估。

时序差分学习=动态规划-贝尔曼估计$G(\tau )$ + 蒙特卡罗采样-增量计算$Q(s,a)$

贝尔曼估计轨迹总回报$G(\tau )$

$$G(\tau )\leftarrow r(s,a,s^{\prime })+\gamma \cdot Q(s^{\prime },a^{\prime })$$

增量计算$Q(s,a)$

$$Q(s,a)\leftarrow Q(s,a)+\alpha \cdot (\underset{\mathrm{实}\mathrm{际}\mathrm{值}}{\underbrace{r+\gamma \cdot Q(s^{\prime },a^{\prime })}}-\underset{\mathrm{预}\mathrm{期}\mathrm{值}}{\underbrace{Q(s,a)}})$$

SARSA

同策略的时序差分算法，是Q学习的改进。

1、当前状态$s$，当前动作$a$ （初始时选择$a={\pi }^{ϵ}(s)$，后续是更新得到的）

2、执行动作$a$，得到新状态$s^{\prime }$，得到奖励$r(s,a,s^{\prime })$

4、依概率选择新动作$a={\pi }^{ϵ}(s^{\prime })$，新状态新动作的值函数：$Q(s^{\prime },a^{\prime })$

5、更新Q函数

$$Q(s,a)\leftarrow Q(s,a)+\alpha \cdot (r+\gamma \cdot Q(s^{\prime },a^{\prime })-Q(s,a))$$

6、更新状态和动作：$s=s^{\prime },a=a^{\prime }$

Q学习

1、当前状态$s$，选择当前动作$a={\pi }^{ϵ}(s)$

2、执行动作$a$、得到新状态$s^{\prime }$和奖励 $r(s,a,s^{\prime })$

3、不依概率选择新动作，而是直接选择最大的值函数$\underset{a^{\prime }}{max}Q(s^{\prime },a^{\prime })$

4、更新Q函数

$$Q(s,a)\leftarrow Q(s,a)+\alpha \cdot (r+\gamma \cdot \underset{a^{\prime }}{max}Q(s^{\prime },a^{\prime })-Q(s,a))$$

5、更新状态：$s=s^{\prime }$

Q网络

使用神经网络$Q_{\varphi }(\mathbf{s}\mathbf{,}\mathbf{a})$去近似值函数$Q(s,a)$。两个问题：实际目标值不稳定；样本之间具有强相关性。

$$L(s,a,s^{\prime };\varphi )={(\underset{\mathrm{实}\mathrm{际}\mathrm{目}\mathrm{标}\mathrm{值}}{\underbrace{r+\gamma \cdot \underset{a^{\prime }}{max}{Q}_{\varphi }({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime })}}-\underset{\text{网络值}}{\underbrace{Q_{\varphi }(\mathbf{s},\mathbf{a})}})}^2$$

DQN

深度Q网络：

• 目标网络冻结-稳定目标值。$Q_{\varphi }(\mathbf{s}\mathbf{,}\mathbf{a})$训练网络，$Q_{\hat{\varphi }}(\mathbf{s}\mathbf{,}\mathbf{a})$目标值网络。定期更新参数$\hat{\varphi }\leftarrow \varphi$
• 经验池的经验回放-去除样本相关性- 每次采集一条数据放入经验池，再从经验池取数据进行训练。

生成新数据加入经验池

1、状态$s$， 选择动作$a={\pi }^{ϵ}(s)$

2、执行动作$a$， 得到$r$和$s^{\prime }$

3、$(s,a,r,s^{\prime })$ 加入经验池$\mathcal{D}$

采经验池中采样一条数据计算

1、从$\mathcal{D}$中采样一条数据，$(ss,aa,rr,s{s}^{\prime })$。 （去除样本相关性）

2、计算实际目标值$Q_{\hat{\psi }}(\mathbf{ss}\mathbf{,}\mathbf{aa})$。 （解决目标值不稳定的问题）

$$Q_{\hat{\psi }}(\mathbf{ss}\mathbf{,}\mathbf{aa})=\{\begin{array}{lll}& rr,& s{s}^{\prime }\mathrm{为}\mathrm{终}\mathrm{态}\\ & rr+\gamma \cdot \underset{{\mathbf{a}}^{\prime }}{max}{Q}_{\hat{\varphi }}({\mathbf{ss}}^{\prime },{\mathbf{a}}^{\prime }),& \mathrm{其}\mathrm{它}\end{array}$$

3、损失函数如下，梯度下降法去训练Q网络

$$J(\varphi )={(Q_{\varphi }(\mathbf{ss},\mathbf{aa})-y)}^2={(Q_{\varphi }(\mathbf{ss},\mathbf{aa})-Q_{\hat{\psi }}(\mathbf{ss}\mathbf{,}\mathbf{aa}))}^2$$

状态前进

$s\leftarrow s^{\prime }$

更新目标Q网络的参数

每隔C步更新：$\hat{\varphi }\leftarrow \varphi$

基于策略函数的学习方法

策略搜索本质上是一个优化问题，无需值函数可以直接优化策略。参数化的策略可以处理连续状态和动作。

策略梯度 ：是一种基于梯度的强化学习方法。

策略连续可微假设：假设${\pi }_{\theta }(a\mid s)$是一个关于$\theta$的连续可微函数。

最大化策略的期望回报

$$J(\theta )=\int p_{\theta }(\tau )\cdot G(\tau )\mathrm{d}\tau$$

策略梯度

$$\frac{\partial J(\theta )}{\partial \theta }\triangleq E_{\tau \sim p_{\theta }(\tau )}\left[\frac{\partial }{\partial \theta }\log p_{\theta }(\tau )\cdot G(\tau )\right]$$$$\frac{\partial }{\partial \theta }\log p_{\theta }(\tau )=\sum _{t=0}^{T-1}\frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)$$$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial \theta }& =E_{\tau \sim p_{\theta }(\tau )}\left[\sum _{t=0}^{T-1}(\frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)\cdot {\gamma }^{t}G({\tau }_{t:T}))\right]\end{array}$$

REINFORCE算法

期望用采样的方式来近似，随机采样N个轨迹。

$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial \theta }& \approx \frac{1}{N}\sum _{n=1}^N\left[\sum _{t=0}^{T-1}(\frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t^{(n)}\mid s_t^{(n)})\cdot {\gamma }^{t}G({\tau }_{t:T}^{(n)}))\right]\end{array}$$

1、根据${\pi }_{\theta }(a\mid s)$生成一条完整的轨迹 ：$\tau =s_0,a_0,s_1,a_1,\cdots ,s_{T-1},a_{T-1},s_T$

2、在每一时刻更新参数 (0~T)

先计算当前时刻的回报$G({\tau }_{t:T})$，再更新参数：

$$\theta \leftarrow \theta +\alpha \cdot {\gamma }^{t}G({\tau }_{t:T})\cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)$$

缺点：

• 需要完整的轨迹
• 不同轨迹之间的策略梯度方差大，导致训练不稳定

带基准函数的REINFORCE算法

每个时刻$t$的策略梯度

$$\frac{\partial J_t(\theta )}{\partial \theta }=E_{s_t,a_t}[\alpha \cdot {\gamma }^{t}G({\tau }_{t:T})\cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)]$$

基准函数

• 为了减小策略梯度的方差
• 引入与$a_t$无关的基准函数$b(s_t)=V(s_t)$
• 越相关方差越小，所以选择值函数

每一时刻的策略梯度为：

$$\frac{\partial {\hat{J}}_t(\theta )}{\partial \theta }=E_{s_t,a_t}[\alpha \cdot {\gamma }^t\left(G({\tau }_{t:T})-b(s_t)\right)\cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)]$$

1、根据策略${\pi }_{\theta }(a\mid s)$生成一条完整轨迹 ：$\tau =s_0,a_0,s_1,a_1,\cdots ,s_{T-1},a_{T-1},s_T$

2、在每一时刻更新参数

计算当前时刻的轨迹回报$G({\tau }_{t:T})$ ，再利用基准函数(值函数)进行修正，得到$\delta$

$$\delta \leftarrow G({\tau }_{t:T})-V_{\varphi }(s_t)$$

更新值函数$V_{\varphi }(s)$的参数$\varphi$

$$\varphi \leftarrow \varphi +\beta \cdot \delta \cdot \frac{\partial }{\partial \varphi }{V}_{\varphi }(s_t)$$

更新策略函数${\pi }_{\theta }(a\mid s)$的参数$\theta$

$$\theta \leftarrow \theta +\alpha \cdot {\gamma }^t\delta \cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)$$

缺点： 需要根据策略采集一条完整的轨迹。

Actor-Critic算法

演员-评论家算法结合了策略梯度和时序差分算法。不需要一条完整的轨迹，可以单步更新参数，无需等到回合结束才进行更新。

演员

根据$s$和策略${\pi }_{\theta }(a\mid s)$，执行动作$a$，环境变为$s^{\prime }$，得到奖励$r$

评论员

根据真实奖励$r$和之前的标准，打分（估计回报）：$r+\gamma V_{\varphi }(s^{\prime })$ ，再调整自己的打分标准$\varphi$。$\underset{\varphi }{min}{(\hat{G}({\tau }_{t:T})-V_{\varphi }(s_t))}^2$

使评分更加接近环境的真实回报。

演员

演员根据评论的打分，调整自己的策略${\pi }_{\theta }$，争取下次做得更好。$\theta \leftarrow \theta +\alpha \cdot {\gamma }^t(G({\tau }_{t:T})-V_{\varphi }(s_t))\cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)$

1. 执行策略，生成样本

$$s,a,r,s^{\prime }$$

2. 估计回报，生成$\delta$

$$G(s)=r+\gamma V_{\varphi }(s^{\prime }),\delta =G(s)-V_{\varphi }(s)$$

3. 更新值函数和策略

$$\varphi \leftarrow \varphi +\beta \cdot \delta \cdot \frac{\partial V_{\varphi }(s)}{\partial \varphi }$$$$\theta \leftarrow \theta +\alpha \cdot \lambda \delta \cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a\mid s)$$

4. 更新折扣率和状态

$$\lambda \leftarrow \lambda \cdot \gamma ,s\leftarrow s^{\prime }$$