基于策略的算法

对策略参数化，直接对策略进行优化。

策略梯度算法

假设策略${\pi }_{\theta }(a\mid s)$，是关于$\theta$的连续可微函数；用梯度上升算法 直接对策略参数$\theta$进行优化， 使目标函数$J(\theta )$最大，$J(\theta )$是策略的期望奖励。

$$J(\theta )=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )]=\sum _{\tau }{p}_{\theta }(\tau )\cdot R(\tau )$$

目标函数

目标函数

轨迹概率$p_{\theta }(\tau )$

$$\begin{array}{ll}{p}_{\theta }(\tau )& =p(s_0)\cdot {\pi }_{\theta }(a_0\mid s_0)p(s_1\mid s_0,a_0)\cdot {\pi }_{\theta }(a_1\mid s_1)p(s_2\mid s_1,a_1)\cdots \\ & =p(s_0)\prod _{t=0}^T\underset{\mathrm{选}\mathrm{择}\mathrm{动}\mathrm{作}}{\underbrace{p_{\theta }(a_t\mid s_t)}}\cdot \underset{\mathrm{状}\mathrm{态}\mathrm{转}\mathrm{移}}{\underbrace{p(s_{t+1}\mid s_t,a_t)}}\end{array}$$

目标函数$J(\theta )$：策略的价值期望/期望奖励

• 调整演员内部参数$\theta$，使得$R_{\theta }$的期望值最大

$$J(\theta )={\overline{R}}_{{\pi }_{\theta }}=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )]=\sum _{\tau }{p}_{\theta }(\tau )\cdot R(\tau )$$

轨迹奖励$R(\tau ),G_t,G_t^n$

• $R(\tau )$ 是一个随机变量，非标量，和策略参数$\theta$无关。
  • 在同一状态下采取的动作不一定相同，策略依概率选择，有随机性

$$R(\tau )=G(\tau )=r_0+\gamma r_1+\cdots {\gamma }^T{r}_T=\sum _{t=1}^T{\gamma }^{t-1}{r}_t$$

• $G_t$：某条轨迹从时刻t开始到结束的累计奖励

$$G_t=\sum _{k=t+1}^T{\gamma }^{k-t-1}\cdot r_k=r_{t+1}+\gamma \cdot G_{t+1}$$

• $G_t^n$：第n条轨迹从t时刻开始到结束的累计奖励

$$G_t^n=\sum _{k=t+1}^{T_n}{\gamma }^{k-t-1}\cdot r_k^n=r_k^n+\gamma G_{t+1}^n$$

• G由交互得到，非常不稳定，方差很大

轨迹

目标函数，期望奖励

策略梯度定义

策略梯度定义

目标函数

$$J(\theta )=\sum _{\tau }R(\tau )\cdot p_{\theta }(\tau )=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )]$$

策略梯度定义

$$\mathrm{\nabla }J(\theta )=\sum _{\tau }R(\tau )\cdot \mathrm{\nabla }{p}_{\theta }(\tau )$$

策略梯度推导结果

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}G({\tau }^n)\cdot \mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)\end{array}$$$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{权}\mathrm{重}}{\underbrace{G({\tau }^n)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

策略梯度推导过程

两个对数技巧

对数定义

• 对数定义：$\log (x)={\log }_e(x)$，国际新标$\log$是以e为底的对数

$$y=\log (x)\to e^y=x$$

• 对数导数

$$f(x)=\log (x)\to f^{\prime }(x)={\log }^{\prime }(x)=\frac{1}{x}$$

• 导数链式法则

$$g(x)=\log f(x)\to g^{\prime }(x)={\log }^{\prime }(f(x))=\frac{1}{f(x)}\cdot f^{\prime }(x)$$

对数乘法公式

$$\log (ab)=\log a+\log b$$

对数微分技巧‼️

$$\frac{\partial \log f(x)}{\partial x}=\frac{1}{f(x)}\cdot f^{\prime }(x)\to \mathrm{\nabla }\log f(x)=\frac{1}{f(x)}\cdot \mathrm{\nabla }f(x)$$$$\mathrm{\nabla }f(x)=f(x)\cdot \mathrm{\nabla }\log f(x)$$

策略梯度推导过程

1. 对数拆解梯度$\mathrm{\nabla }{p}_{\theta }(\tau )$

• 对数微分，拆解为期望形式

$$\begin{array}{ll}\mathrm{\nabla }J(\theta )& =\sum _{\tau }R(\tau )\cdot \mathrm{\nabla }{p}_{\theta }(\tau )\\ & =\sum _{\tau }R(\tau )\cdot p_{\theta }(\tau )\cdot \mathrm{\nabla }\log p_{\theta }(\tau )\\ & =E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\cdot \mathrm{\nabla }\log p_{\theta }(\tau )]\end{array}$$

• 推导结果

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\cdot \mathrm{\nabla }\log p_{\theta }(\tau )]\end{array}$$

2. 细拆轨迹概率梯度 $\mathrm{\nabla }\log p_{\theta }(\tau )$

• 代入轨迹概率的 动作策略$\pi$和状态转移概率 $p$，去掉无关项

$$\begin{array}{ll}\mathrm{\nabla }\log p_{\theta }(\tau )& =\mathrm{\nabla }\log (p(s_0)\prod _{t=0}^T\pi (a_t\mid s_t)\cdot p(s_{t+1}\mid s_t,a_t))\\ & =\mathrm{\nabla }(\log p(s_0)+\sum _{t=0}^T\log p_{\theta }(a_t\mid s_t)+\sum _{t=0}^T\log p(s_{t+1}\mid s_t,a_t))\\ & =\underset{\theta \mathrm{无}\mathrm{关},0}{\underbrace{\mathrm{\nabla }\log p(s_0)}}+\underset{\theta \mathrm{有}\mathrm{关},\mathrm{非}0}{\underbrace{\mathrm{\nabla }\sum _{t=0}^T\log p_{\theta }(a_t\mid s_t)}}+\underset{\theta \mathrm{无}\mathrm{关},0}{\underbrace{\mathrm{\nabla }\sum _{t=0}^T\log p(s_{t+1}\mid s_t,a_t)}}\\ & =\sum _{t=0}^T\mathrm{\nabla }\log p_{\theta }(a_t\mid s_t)\end{array}$$

• 推导结果

$$\begin{array}{l}\mathrm{\nabla }\log p_{\theta }(\tau )=\sum _{t=0}^T\mathrm{\nabla }\log p_{\theta }(a_t\mid s_t)\end{array}$$

3. 采样计算策略梯度

• 采样N条轨迹、代回细拆项求解最终公式

$$\begin{array}{ll}\mathrm{\nabla }J(\theta )& =E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\cdot \mathrm{\nabla }\log p_{\theta }(\tau )]\\ & =\frac{1}{N}\sum _{n=1}^{N}R(\tau )\cdot \mathrm{\nabla }\log p_{\theta }(\tau )\\ & =\frac{1}{N}\sum _{i=1}^{N}R({\tau }^n)\cdot \sum _{t=0}^{T_n}\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)\\ & =\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}G({\tau }^n)\cdot \mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)\end{array}$$

• 推导结果

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}G({\tau }^n)\cdot \mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)\end{array}$$

参数学习过程

策略梯度学习过程

数据采样

• 利用$\theta$参数的actor和环境交互，采集n条样本，收集每条样本的奖励。
• 每个样本只使用一次
  • 模型更新完成后 ，需重新采样才能更新模型。

梯度计算

• 为每一对$(s,a)$
  • 计算对数概率 $\log p_{\theta }(a_t^n\mid s_t^n)$，
  • 为对数概率取梯度，并乘以权重 ，即回报$G({\tau }^n)$
• 代入策略梯度函数，求出整体梯度

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}G({\tau }^n)\cdot \mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)\end{array}$$

梯度上升法做参数更新

• 最大化目标函数 $J(\theta )$

$$\theta \leftarrow \theta +\alpha \cdot \mathrm{\nabla }J(\theta )$$

策略梯度loss

策略梯度loss

策略梯度loss

传统交叉熵/监督学习loss

• 预测值，有真实值，做交叉熵评判准确程度

$$H(p,q)=-\sum _{x\in X}p(x)\cdot \log q(x)$$$$H(y^{\prime },y)=-\sum _i{y}_{i,\mathrm{真}\mathrm{实}}^{\prime }\cdot \log y_{i,\mathrm{预}\mathrm{测}}$$$$H(y^{\prime },y)=-\sum _i\log y_{i,\mathrm{预}\mathrm{测}}$$

策略梯度loss-轨迹粒度

• 轨迹回报越高、希望轨迹概率也越高，即二者同分布，使用交叉熵来衡量，非常合适
• $R(\tau )$代表实际回报，代替真实分布

$$L(\theta )=-\sum _{\tau \sim p_{\theta }(\tau )}R(\tau )\cdot \log p_{\theta }(\tau )$$

策略梯度loss-动作粒度

• 预测动作，但并没有真实动作作为参考
• 所以使用奖励回报/优势函数等作为权重，表示动作的好坏。
  • 动作回报越小，表明动作$a_t$不好，loss权重应该降低，优化粒度小一点
  • 动作回报越大，表明动作$a_t$较好，loss权重应该增加，优化粒度大一点

$$\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{s}=-G_t\cdot \log p_{\theta }(a_t\mid s_t)$$

策略函数设计

随机策略，输入状态s，输出对应动作概率分布

离散策略函数设计

Softmax计算概率

• $\varphi (s,a)$是模型输出前面一层，计算softmax得出概率

$${\pi }_{\theta }(s\mid a)=p_{\theta }(a\mid s)=\frac{e^{\varphi (s,a)}}{\sum _{a^{\prime }\in A}{e}^{\varphi (s,a^{\prime })}}$$

一般$\varphi (s,a)$和softmax合在一起的

• 最终策略梯度如下，一般写作logits_p，对应的 $p_{\theta }(s,a)$ 叫做 probs，

$${\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s\mid a)=\log p_{\theta }(s,a)=\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{i}\mathrm{t}\mathrm{s}\mathrm{\_}\mathrm{p}$$

连续动作空间策略函数

策略动作从高斯分布得出

• 在模型最后一层输出均值和方差两个值，来构建一个高斯分布，进行采样即可。

$$N(\varphi (s)\theta ,{\sigma }^2)$$$${\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s\mid a)=\frac{(a-\varphi (s)\theta )\cdot \varphi (s)}{{\sigma }^2}$$

策略梯度权重多种形式

策略梯度权重多种形式

策略梯度形式

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{权}\mathrm{重}}{\underbrace{{\mathrm{\Psi }}_t}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

权重${\mathrm{\Psi }}_t$的7种表现形式

• $G(\tau )$ 轨迹总奖励

$$R(\tau )=G(\tau )=r_0+\gamma r_1+\cdots {\gamma }^T{r}_T=\sum _{t=1}^T{\gamma }^{t-1}{r}_t$$

• $G_t$ 动作$a_t$的奖励

$$G_t=\sum _{k=t+1}^T{\gamma }^{k-t-1}\cdot r_k=r_{t+1}+\gamma \cdot G_{t+1}$$

• $G_t-b(s_t)$ 动作$a_t$奖励减去偏移量

$$G_t-b(s_t)$$

• $Q_{\pi }(s_t,a_t)$ 状态动作值函数

$$Q_{\pi }(s_t,a_t)$$

• $A_{\pi }(s_t,a_t)$ 优势函数

$$A_{\pi }(s_t,a_t)=Q_{\pi }(s_t,a_t)-V_{\pi }(s_t)$$

• TD误差

$$A_{\pi }(s_t,a_t)=\underset{TD\mathrm{误}\mathrm{差}}{\underbrace{r_{t+1}+\gamma V_{\pi }(s_{t+1})-V_{\pi }(s_t)}}$$

• GAE

$$A_t^{GAE(\gamma ,\lambda )}(s_t,a_t)=\sum _{l=0}^{\mathrm{\infty }}(\gamma \lambda {)}^l\cdot {\delta }_{t+l}$$$$A_t^{GAE(\gamma ,\lambda )}(s_t,a_t)=\sum _{l=0}^{\mathrm{\infty }}(\gamma \lambda {)}^l\cdot (r_{t+l}+\gamma V(s_{t+l+1})-V(s_{t+l}))$$

策略梯度重要技巧

朴素PG权重存在问题

朴素PG做法

• $G(\tau )$作为权重，恒大于0 ，有大有小
• 在一条轨迹内，为所有动作$a$，分配相同的权重

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{权}\mathrm{重}}{\underbrace{G({\tau }^n)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

问题1：权重恒大于0

理想情况

• 在某状态s，有3个可执行动作abc。
• 现在需把3个动作概率都提高：权重大的，提高的多；权重小的，提高的少。
• 做完权重归一化后：权重大的，概率上升；权重小的，概率下降。

MC采样实际情况

• 有3个动作，但可能只采样到动作b和c，没采到动作a。现要提升s所有动作概率，
• 由于没有采样到a，实际仅提升b和c的概率，会导致a的概率下降。
• 这就明显有问题：a可能很好，由于没被采样就导致概率下降。

方差较大

• $G(\tau )$ 采样方差较大。

问题2：一条轨迹内所有动作权重都相同

问题

• 为一条轨迹内，所有动作都使用相同的权重，显然是不公平的。
• 有的动作可能好，贡献的多，需提升概率；有的动作可能差，贡献的少，需要降低概率。

添加基线/优势函数

权重添加基线/优势函数

背景

• 解决权重 $R(\tau )$恒大于0带来的问题(未采样动作概率更新+方差大。)
• 加上基线，使其有正有负，降低反差。

核心思想

• 添加基线函数b，使用新权重 $R(\tau )-b$，有正有负
  • $R(\tau )-b>0$：超过基线，让$(s,a)$概率上升
  • $R(\tau )-b<0$：低于基线，让$(s,a)$概率下降

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{基}\mathrm{线}\mathrm{权}\mathrm{重}}{\underbrace{(R({\tau }^n)-b)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

• $R-b$：也称为优势函数

基线函数b的选择

• 平均值 $b=E[G(\tau )],V(s)$：不断把$G(\tau )$值记录下来，求平均即可
• R和b相关性越高，方差越小，公式推导出来的。

降低方差方法的公式推导

目的

• 估计$E[f]$，构造新估计量$\hat{f}$，使得
  • 无偏性：$E[f]=E[\hat{f}]$，
  • 减小方差：$Var(\hat{f})<Var(f)$

核心方法

• 构建$\hat{f}$：引入一个与$f$相关的辅助函数$g$，$E[g]$已知。

$$\hat{f}=f-\alpha (g-E[g])$$

• 保证无偏性推导期望：推导可知$E[\hat{f}]=E[f]$

$$E[\hat{f}]=E[f]-\alpha \cdot E(g-E[g])=E[f]-\alpha \cdot (E[g]-E[g])=E[f]$$

• 推导方差供减小优化使用$\mathrm{Var}(\hat{f})$： 方差、协方差

$$\begin{array}{ll}Var(\hat{f})& =\mathrm{Var}(f-\alpha (g-E[g]))\\ & =\mathrm{Var}(f-\alpha \cdot g)\\ & =\mathrm{Var}(f)+{\alpha }^2\mathrm{Var}(g)-2\alpha \cdot \mathrm{Cov}(f,g)\end{array}$$

• 最小方差求解：求解极值点 $\alpha$取值
  • 方差恒为正，是常数；根据上式可知$Var(\hat{f})$是关于$\alpha$的凹函数，必然存在极小值
  • 求导数并使其为0，求解出最小值时的取值。

$$\begin{array}{l}\frac{\partial Var(\hat{f})}{\partial \alpha }=2\alpha Var(g)-2Cov(f,g)\\ \mathrm{令}\mathrm{其}=0，\mathrm{得}:\alpha =\frac{Cov(f,g)}{Var(g)}\end{array}$$

• 最小方差求解：代回极值点，求解出最小值

$$\begin{array}{ll}Var(\hat{f})& =Var(f)+\frac{Co{v}^2(f,g)}{Var(g)}-2\frac{Co{v}^2(f,g)}{Var(g)}\\ & =Var(f)-\frac{Co{v}^2(f,g)}{Var(g)}\\ & =Var(f)(1-\frac{Co{v}^2(f,g)}{Var(f)Var(g)})\\ & =Var(f)\cdot (1-\underset{\mathrm{相}\mathrm{关}\mathrm{系}\mathrm{数}}{\underbrace{{\rho }^2(f,g))}})\end{array}$$

结论

• 方差极小值：$f$和$g$的相关性越高，$Var(\hat{f})$越小

分配合适的分数

分配合适的分数

背景

• 解决同一轨迹内，所有动作权重都相同的问题
• 使其有区分度，鼓励好的动作，抑制差的动作

方法1：使用动作时刻t后面的奖励

• 动作$(s_t,a_t)$的权重：
  • 不用时刻0到结束的总奖励，而用动作时刻t开始到结束的总奖励
  • 即不用$G(\tau )$，改用$G_t$作为$(s_t,a_t)$的权重

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{基}\mathrm{线}\mathrm{权}\mathrm{重}}{\underbrace{(G_t^n-b)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$$$G_t^n=\sum _{k=t+1}^{T_n}{\gamma }^{k-t-1}\cdot r_k^n=r_k^n+\gamma G_{t+1}^n$$

方法2：使用优势函数$A^{\theta }(s_t,a_t)$

• 优势函数$A^{\theta }(s_t,a_t)$：在状态$s$，采取动作$a$，相对于其他动作的优势
• 优势函数$A^{\theta }(s_t,a_t)$：一般由网络估计出来，称为critic评论员

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{动}\mathrm{作}\mathrm{优}\mathrm{势}\mathrm{函}\mathrm{数}}{\underbrace{A^{\theta }(s_t^n,a_t^n)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

不同动作贡献不同，权重也应该不同：

策略梯度算法分类

分类概览

策略梯度分类概览

MC 蒙特卡洛方法

• 回合更新；使用$G_t$作为权重。
• REINFORCE算法

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{权}\mathrm{重}}{\underbrace{G_t^n}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

TD 时序差分方法

• 步骤更新；TD估计Q函数，作为权重。
• Actor-Critic算法

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{Q\mathrm{函}\mathrm{数}\mathrm{做}\mathrm{权}\mathrm{重}}{\underbrace{Q^n(s_t^n,a_t^n)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

蒙特卡洛策略梯度优缺点

MC 策略梯度 优缺点

优点 (相比于基于价值的算法)

• 适用于连续动作空间
• 适用于随机性策略
• 计算出的策略梯度是无偏的；基于价值的算法则是有偏的。

缺点

• 采样效率低：MC采样 不如 TD采样
• 高方差：MC高方差，估计梯度时甚至比基于价值的算法方差还高；G很不稳定
• 收敛性差：容易导致局部最优解
• 难以处理高维离散动作空间

蒙特卡罗策略梯度

REINFORCE 算法

REINFORCE 核心思想

核心思想

• 在策略梯度基础上，使用$G_t$作为动作权重，一个回合更新一次

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{权}\mathrm{重}}{\underbrace{G_t^n}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$$$G_t=\sum _{k=t+1}^T{\gamma }^{k-t-1}\cdot r_k=r_{t+1}+\gamma \cdot G_{t+1}$$

• 回合数据

算法步骤

• 根据策略采样一个回合数据；采样后，从0到T每时刻 根据$(s_t,a_t,G_t)$做参数更新

$$(s_0,a_0,r_0),(s_1,a_1,r_1),\cdots ,(s_T,a_T,r_T)$$$$(s_0,a_0,G_0),(s_1,a_1,G_1),\cdots ,(s_T,a_T,G_T)$$

• 计算每时刻$G_t$权重

$$G_t=\sum _{k=t+1}^T{\gamma }^{k-t-1}\cdot r_k=r_{t+1}+\gamma \cdot G_{t+1}$$

• 计算动作策略梯度：$(s_t,a_t)$ 对数概率梯度

$$\mathrm{\nabla }\log p_{\theta }(a_t\mid s_t)$$

• 每时刻更新参数

$$\theta \leftarrow \theta +\alpha \cdot {\gamma }^t{G}_t\cdot \mathrm{\nabla }\log p_{\theta }(a_t\mid s_t)$$

算法流程

伪代码

REINFORCE++ 算法

待定