基于策略函数的学习方法和Actor-Critc算法。

强化学习基础 、基于值函数的学习方法

基于策略函数的学习方法

强化学习目标

强化学习的目标是学习到一个策略${\pi }_{\theta }(a\mid s)$，来最大化这个策略的期望回报。希望智能体能够获得更多的回报。本质上是策略搜索。

$$J(\theta )=E_{\tau \sim p_{\theta }(\tau )}[\sum _{t=0}^{T-1}{\gamma }^t{r}_{t+1}]$$$$J(\theta )=\int p_{\theta }(\tau )\cdot G(\tau )\mathrm{d}\tau$$

策略搜索本质上是一个优化问题，无需值函数可以直接优化策略。参数化的策略可以处理连续状态和动作。

• 基于梯度的优化
• 无梯度的优化

策略梯度

1. 思想和假设

策略梯度 ：是一种基于梯度的强化学习方法。

策略连续可微假设：假设${\pi }_{\theta }(a\mid s)$是一个关于$\theta$的连续可微函数。

2. 优化目标

最大化策略的期望回报。

$$J(\theta )=\int p_{\theta }(\tau )\cdot G(\tau )\mathrm{d}\tau$$

3. 策略梯度推导

采用梯度上升法来优化参数$\theta$来使得$J(\theta )$最大。

**策略梯度$\frac{\partial J(\theta )}{\partial \theta }$**的推导如下：

1、参数$\theta$的优化方向是总回报$G(\tau )$大的轨迹$\tau$，其概率$p_{\theta }(\tau )$也就越大。

$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial \theta }& =\frac{\partial }{\partial \theta }\int p_{\theta }(\tau )\cdot G(\tau )\mathrm{d}\tau =\int (\frac{\partial }{\partial \theta }{p}_{\theta }(\tau ))\cdot G(\tau )\mathrm{d}\tau \\ & =\int p_{\theta }(\tau )\cdot \left(\frac{1}{p_{\theta }(\tau )}\frac{\partial }{\partial \theta }{p}_{\theta }(\tau )\right)\cdot G(\tau )\mathrm{d}\tau \\ & =\int p_{\theta }(\tau )\cdot \left(\frac{\partial }{\partial \theta }\log p_{\theta }(\tau )\right)\cdot G(\tau )\mathrm{d}\tau \\ & \triangleq E_{\tau \sim p_{\theta }(\tau )}\left[\frac{\partial }{\partial \theta }\log p_{\theta }(\tau )\cdot G(\tau )\right]\end{array}$$

2、梯度只和策略相关，轨迹的梯度 == 各个时刻的梯度的求和

$$\begin{array}{rl}\frac{\partial }{\partial \theta }\log p_{\theta }(\tau )& =\frac{\partial }{\partial \theta }\log (p(s_0)\cdot \prod _{t=0}^{T-1}\underset{\mathrm{执}\mathrm{行}\mathrm{动}\mathrm{作}}{\underbrace{{\pi }_{\theta }(a_t\mid s_t)}}\underset{\mathrm{环}\mathrm{境}\mathrm{改}\mathrm{变}}{\underbrace{p(s_{t+1}\mid s_t,a_t)}})\\ & =\frac{\partial }{\partial \theta }\log (\log p(s_0)+\sum _{t=0}^{T-1}\log {\pi }_{\theta }(a_t\mid s_t)+\sum _{t=0}^{T-1}\log p(s_{t+1}\mid s_t,a_t))\\ & =\sum _{t=0}^{T-1}\frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)\end{array}$$

3、策略梯度 == 轨迹的梯度*轨迹的回报 的期望

$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial \theta }& =E_{\tau \sim p_{\theta }(\tau )}[(\sum _{t=0}^{T-1}\frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t))\cdot G(\tau )]\\ & =E_{\tau \sim p_{\theta }(\tau )}[(\sum _{t=0}^{T-1}\frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t))\cdot \left(G({\tau }_{1:k-1})+{\gamma }^k\cdot G({\tau }_{k:T})\right)]\\ & =E_{\tau \sim p_{\theta }(\tau )}\left[\sum _{t=0}^{T-1}(\frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)\cdot {\gamma }^{t}G({\tau }_{t:T}))\right]\end{array}$$

其中$G({\tau }_{t:T})$是从时刻$t$作为起始时刻收到的总回报

$$G({\tau }_{t:T})=\sum _{i=t}^{T-1}{\gamma }^{i-t}{r}_{i+1}$$

4. 总结

$$\frac{\partial J(\theta )}{\partial \theta }\triangleq E_{\tau \sim p_{\theta }(\tau )}\left[\frac{\partial }{\partial \theta }\log p_{\theta }(\tau )\cdot G(\tau )\right]$$$$\frac{\partial }{\partial \theta }\log p_{\theta }(\tau )=\sum _{t=0}^{T-1}\frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)$$$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial \theta }& =E_{\tau \sim p_{\theta }(\tau )}\left[\sum _{t=0}^{T-1}(\frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)\cdot {\gamma }^{t}G({\tau }_{t:T}))\right]\end{array}$$

REINFORCE算法

期望可以通过采样的方法来近似。对于当前策略${\pi }_{\theta }$，可以随机游走采集N个轨迹。${\tau }^{(1)},\cdots ,{\tau }^{(N)}$

$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial \theta }& \approx \frac{1}{N}\sum _{n=1}^N\left[\sum _{t=0}^{T-1}(\frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t^{(n)}\mid s_t^{(n)})\cdot {\gamma }^{t}G({\tau }_{t:T}^{(n)}))\right]\end{array}$$

可微分策略函数${\pi }_{\theta }(a\mid s)$，折扣率$\gamma$，学习率$\alpha$

初始化参数$\theta$， 训练，直到$\theta$收敛

1、根据${\pi }_{\theta }(a\mid s)$生成一条轨迹

$$\tau =s_0,a_0,s_1,a_1,\cdots ,s_{T-1},a_{T-1},s_T$$

2、在每一时刻更新参数 (0~T)

• 计算$G({\tau }_{t:T})$
• $\theta \leftarrow \theta +\alpha \cdot {\gamma }^{t}G({\tau }_{t:T})\cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)$

REINFORCE算法缺点：不同路径之间的方差很大，导致训练不稳定；需要根据一个策略采集一条完整的轨迹。

带基准线的REINFORCE算法

值函数作为基准函数，去减小策略梯度的方差

由于不同轨迹之间的方差很大，导致训练不稳定，使用基准函数去减小策略梯度的方差。

1. 减小方差的办法

目标：估计函数$f$的期望，同时要减小$f$的方差。

方法

• 引入已知期望的函数$g$
• $\hat{f}=f-\alpha (g-E[g])$
• 推导可知： $E[f]=E[\hat{f}]$
• 用$g$去减小$f$的方差， $D(f)=Var(f)$

$$D(\hat{f})=D(f)-2\alpha \cdot \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{f},\mathrm{g})+{\alpha }^2\cdot \mathrm{D}(\mathrm{g})$$$$\mathrm{令}\frac{\partial D(\hat{f})}{\partial \alpha }=0\to \frac{D(\hat{f})}{D(f)}=1-{\rho }^2(f,g)$$

所以**，$f$和$g$的相关性越高，$D(\hat{f})$越小**。

2. 带基准线的REINFORCE算法核心

每个时刻$t$的策略梯度

$$\frac{\partial J_t(\theta )}{\partial \theta }=E_{s_t,a_t}[\alpha \cdot {\gamma }^{t}G({\tau }_{t:T})\cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)]$$

为了减小策略梯度的方差，引入一个和$a_t$无关的基准函数$b(s_t)$，策略梯度为：

$$\frac{\partial {\hat{J}}_t(\theta )}{\partial \theta }=E_{s_t,a_t}[\alpha \cdot {\gamma }^t\left(G({\tau }_{t:T})-b(s_t)\right)\cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)]$$

因为$b(s_t)$与$a_t$无关，可以证明得到：（使用积分求平均，${\int }_{a_t}{\pi }_{\theta }(a_t\mid s_t)\mathrm{d}{a}_t=1$）

$$E_{a_t}[b(s_t)\cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)]=\frac{\partial }{\partial \theta }(b(s_t)\cdot 1)=0$$

所以得到：$\frac{\partial J_t(\theta )}{\partial \theta }=\frac{\partial {\hat{J}}_t(\theta )}{\partial \theta }$

4. 基准函数的选择

为了减小策略梯度的方差，希望**$b(s_t)$与$G({\tau }_{t:T})$ 越相关越好**，所以选择**$b(s_t)=V(s_t)$**（值函数）。

1、可学习的函数$V_{\varphi }(s_t)$来近似值函数，类似于Q网络

$${\varphi }^{\ast }=\arg \underset{\varphi }{min}{(V(s_t)-V_{\varphi }(s_t))}^2$$

2、蒙塔卡罗方法进行估计值函数 也就是增量计算Q(s,a)嘛。

5. 带基准线的REINFORCE算法步骤

输入

• 状态空间和动作空间，$\mathcal{S}\mathcal{,}\mathcal{A}$
• 可微分的策略函数${\pi }_{\theta }(a\mid s)$
• 可微分的状态值函数$V_{\varphi }(s_t)$
• 折扣率$\gamma$，学习率$\alpha ,\beta$

随机初始化参数$\theta ,\varphi$

不断训练，直到$\theta$收敛

1、根据策略${\pi }_{\theta }(a\mid s)$生成一条完整轨迹 ：$\tau =s_0,a_0,s_1,a_1,\cdots ,s_{T-1},a_{T-1},s_T$

2、在每一时刻更新参数

计算当前时刻的轨迹回报$G({\tau }_{t:T})$ ，再利用基准函数(值函数)进行修正，得到$\delta$

$$\delta \leftarrow G({\tau }_{t:T})-V_{\varphi }(s_t)$$

更新值函数$V_{\varphi }(s)$的参数$\varphi$

$$\varphi \leftarrow \varphi +\beta \cdot \delta \cdot \frac{\partial }{\partial \varphi }{V}_{\varphi }(s_t)$$

更新策略函数${\pi }_{\theta }(a\mid s)$的参数$\theta$

$$\theta \leftarrow \theta +\alpha \cdot {\gamma }^t\delta \cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)$$

缺点： 需要根据策略采集一条完整的轨迹。

Actor-Critic算法

思想

演员-评论员算法是一种结合策略梯度和时序差分学习的强化学习方法。

开始，演员随机表演，评论员随机打分；不断学习，评论员评分越来越准，演员的动作越来越好。

• 演员：策略函数${\pi }_{\theta }(s,a)$，学习一个策略来得到尽可能高的回报
• 评论员：值函数$V_{\varphi }(s)$，评估当前策略函数（演员）的好坏

演员

根据$s$和策略${\pi }_{\theta }(a\mid s)$，执行动作$a$，环境变为$s^{\prime }$，得到奖励$r$

评论员

根据真实奖励$r$和之前的标准，打分（估计回报）：$r+\gamma V_{\varphi }(s^{\prime })$ ，再调整自己的打分标准$\varphi$。$\underset{\varphi }{min}{(\hat{G}({\tau }_{t:T})-V_{\varphi }(s_t))}^2$

使评分更加接近环境的真实回报。

演员

演员根据评论的打分，调整自己的策略${\pi }_{\theta }$，争取下次做得更好。

优点：可以单步更新参数，不需要等到回合结束才进行更新。

值函数的三个功能

1. 估计轨迹真实回报（打分）

$$\hat{G}({\tau }_{t:T})=r_{t+1}+\gamma V_{\varphi }(s_{t+1})$$

2. 更新值函数参数$\varphi$ （调整打分标准）

$$\underset{\varphi }{min}{(\hat{G}({\tau }_{t:T})-V_{\varphi }(s_t))}^2$$

3. 更新策略参数$\theta$时，作为基函数来减少策略梯度的方差（调整策略）

$$\theta \leftarrow \theta +\alpha \cdot {\gamma }^t(G({\tau }_{t:T})-V_{\varphi }(s_t))\cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a_t\mid s_t)$$

算法实现步骤

输入

• 状态空间和动作空间，$\mathcal{S}\mathcal{,}\mathcal{A}$
• 可微分的策略函数${\pi }_{\theta }(a\mid s)$
• 可微分的状态值函数$V_{\varphi }(s_t)$
• 折扣率$\gamma$，学习率$\alpha >0,\beta >0$

随机初始化参数$\theta ,\varphi$

迭代直到$\theta$收敛，初始状态$s$, $\lambda =1$

从s开始，直到$s$为终止状态

1、状态s，选择动作$a={\pi }_{\theta }(a\mid s)$

2、执行动作$a$，得到即时奖励$r$和新状态$s^{\prime }$

3、利用值函数作为基函数计算$\delta$，$\delta \leftarrow r+\gamma V_{\varphi }(s^{\prime })-V_{\varphi }(s)$

4、更新值函数：$\varphi \leftarrow \varphi +\beta \cdot \delta \cdot \frac{\partial V_{\varphi }(s)}{\partial \varphi }$

5、更新策略函数：$\theta \leftarrow \theta +\alpha \cdot \lambda \delta \cdot \frac{\partial }{\partial \theta }\log {\pi }_{\theta }(a\mid s)$

6、更新折扣率和状态：$\lambda \leftarrow \lambda \cdot \gamma ,s\leftarrow s^{\prime }$

强化学习算法总结

方法总览

1. 通用步骤

1. 执行策略，生成样本
2. 估计回报
3. 更新策略

2. 值函数与策略函数的比较

值函数的方法

策略更新，导致值函数的改变比较大，对收敛性有一定的影响

策略函数的方法

策略更新，更加平稳。

缺点：策略函数的解空间很大，难以进行充分采样，导致方差较大，容易陷入局部最优解。

四个典型方法

与监督学习的区别

	强化学习	监督学习
样本	与环境进行交互产生样本，进行试错学习	人工收集并标注
反馈	只有奖励，并且是延迟的	需要明确的指导信息（每个状态对应一个动作）