基于策略的算法

对策略参数化，直接对策略进行优化。

笔记

Value-based RL

• 先学习价值函数V或Q，根据价值函数间接指导策略改进。

Policy-based RL

• 对策略进行参数化，直接对策略进行优化。没有V或Q做中间商。
• 优点
  • 可处理连续动作空间
  • 直接使用神经网络进行建模

策略梯度算法

假设策略${\pi }_{\theta }(a\mid s)$，是关于$\theta$的连续可微函数；用梯度上升算法 直接对策略参数$\theta$进行优化。

使目标函数$J(\theta )$最大，$J(\theta )$是该策略下所有轨迹回报的期望值。

$$J(\theta )=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )]=\sum _{\tau }{p}_{\theta }(\tau )\cdot R(\tau )$$

目标函数

目标函数

轨迹概率$p_{\theta }(\tau )$

$$\begin{array}{ll}{p}_{\theta }(\tau )& =p(s_0)\cdot {\pi }_{\theta }(a_0\mid s_0)p(s_1\mid s_0,a_0)\cdot {\pi }_{\theta }(a_1\mid s_1)p(s_2\mid s_1,a_1)\cdots \\ & =p(s_0)\prod _{t=0}^T\underset{\mathrm{选}\mathrm{择}\mathrm{动}\mathrm{作}}{\underbrace{p_{\theta }(a_t\mid s_t)}}\cdot \underset{\mathrm{状}\mathrm{态}\mathrm{转}\mathrm{移}}{\underbrace{p(s_{t+1}\mid s_t,a_t)}}\end{array}$$

目标函数$J(\theta )$

• 策略的价值期望/期望奖励，所有轨迹回报的期望值。

• 调整演员内部参数$\theta$，使得$R_{\theta }$的期望值最大

$$J(\theta )={\overline{R}}_{{\pi }_{\theta }}=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )]=\sum _{\tau }{p}_{\theta }(\tau )\cdot R(\tau )$$

轨迹奖励回报

轨迹奖励回报

$R(\tau ),G_t,G_t^n$

• $R(\tau )$ 是一个随机变量，非标量，和策略参数$\theta$无关。
• 在同一状态下 采取的动作不一定相同，策略依概率选择，有随机性

$$R(\tau )=G(\tau )=r_0+\gamma r_1+\cdots {\gamma }^T{r}_T=\sum _{t=1}^T{\gamma }^{t-1}{r}_t$$

• $G_t$：某条轨迹从时刻t开始到结束的 累计奖励

$$G_t=\sum _{k=t+1}^T{\gamma }^{k-t-1}\cdot r_k=r_{t+1}+\gamma \cdot G_{t+1}$$

• $G_{t:t+n}$：时刻$t$到$t+n$的n步累积奖励。

  $$G_{t:t+n}=r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+\cdots +{\gamma }^{n-1}{r}_{t+n}+{\gamma }^{n}V(s_{t+n})$$

• $G_t^n$：第n条轨迹 从t时刻到结束的 累计奖励

$$G_t^n=\sum _{k=t+1}^{T_n}{\gamma }^{k-t-1}\cdot r_k^n=r_k^n+\gamma G_{t+1}^n$$

• G由交互得到，非常不稳定，方差很大。TD&MC 方差和偏差

轨迹

目标函数，期望奖励

策略梯度定义

策略梯度定义

目标函数

$$J(\theta )=\sum _{\tau }R(\tau )\cdot p_{\theta }(\tau )=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )]$$

策略梯度

$$\mathrm{\nabla }J(\theta )=\sum _{\tau }R(\tau )\cdot \mathrm{\nabla }{p}_{\theta }(\tau )$$

策略梯度推导结果

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}G({\tau }^n)\cdot \mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)\end{array}$$$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{权}\mathrm{重}}{\underbrace{G({\tau }^n)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

两个对数技巧

两个对数技巧

对数定义

• 对数定义：$\log (x)={\log }_e(x)$，国际新标$\log$是以e为底的对数

$$y=\log (x)\to e^y=x$$

• 对数导数

$$f(x)=\log (x)\to f^{\prime }(x)={\log }^{\prime }(x)=\frac{1}{x}$$

导数链式法则

$$g(x)=\log f(x)\to g^{\prime }(x)={\log }^{\prime }(f(x))=\frac{1}{f(x)}\cdot f^{\prime }(x)$$

对数乘法公式

$$\log (ab)=\log a+\log b$$

对数微分技巧‼️

$$\frac{\partial \log f(x)}{\partial x}=\frac{1}{f(x)}\cdot f^{\prime }(x)\to \mathrm{\nabla }\log f(x)=\frac{1}{f(x)}\cdot \mathrm{\nabla }f(x)$$$$\mathrm{\nabla }f(x)=f(x)\cdot \mathrm{\nabla }\log f(x)$$

策略梯度推导过程

策略梯度推导过程

1. 对数拆解梯度$\mathrm{\nabla }{p}_{\theta }(\tau )$

• 对数微分，拆解为期望形式

$$\begin{array}{ll}\mathrm{\nabla }J(\theta )& =\sum _{\tau }R(\tau )\cdot \mathrm{\nabla }{p}_{\theta }(\tau )\\ & =\sum _{\tau }R(\tau )\cdot p_{\theta }(\tau )\cdot \mathrm{\nabla }\log p_{\theta }(\tau )\\ & =E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\cdot \mathrm{\nabla }\log p_{\theta }(\tau )]\end{array}$$

• 推导结果

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\cdot \mathrm{\nabla }\log p_{\theta }(\tau )]\end{array}$$

2. 细拆轨迹概率梯度 $\mathrm{\nabla }\log p_{\theta }(\tau )$

• 代入轨迹概率的 动作策略$\pi$和状态转移概率 $p$，去掉无关项

$$\begin{array}{ll}\mathrm{\nabla }\log p_{\theta }(\tau )& =\mathrm{\nabla }\log (p(s_0)\prod _{t=0}^T\pi (a_t\mid s_t)\cdot p(s_{t+1}\mid s_t,a_t))\\ & =\mathrm{\nabla }(\log p(s_0)+\sum _{t=0}^T\log p_{\theta }(a_t\mid s_t)+\sum _{t=0}^T\log p(s_{t+1}\mid s_t,a_t))\\ & =\underset{\theta \mathrm{无}\mathrm{关},0}{\underbrace{\mathrm{\nabla }\log p(s_0)}}+\underset{\theta \mathrm{有}\mathrm{关},\mathrm{非}0}{\underbrace{\mathrm{\nabla }\sum _{t=0}^T\log p_{\theta }(a_t\mid s_t)}}+\underset{\theta \mathrm{无}\mathrm{关},0}{\underbrace{\mathrm{\nabla }\sum _{t=0}^T\log p(s_{t+1}\mid s_t,a_t)}}\\ & =\sum _{t=0}^T\mathrm{\nabla }\log p_{\theta }(a_t\mid s_t)\end{array}$$

• 推导结果

$$\begin{array}{l}\mathrm{\nabla }\log p_{\theta }(\tau )=\sum _{t=0}^T\mathrm{\nabla }\log p_{\theta }(a_t\mid s_t)\end{array}$$

3. 采样计算策略梯度

• 采样N条轨迹、代回细拆项求解最终公式

$$\begin{array}{ll}\mathrm{\nabla }J(\theta )& =E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\cdot \mathrm{\nabla }\log p_{\theta }(\tau )]\\ & =\frac{1}{N}\sum _{n=1}^{N}R(\tau )\cdot \mathrm{\nabla }\log p_{\theta }(\tau )\\ & =\frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\cdot \sum _{t=0}^{T_n}\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)\\ & =\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}G({\tau }^n)\cdot \mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)\end{array}$$

• 推导结果

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}G({\tau }^n)\cdot \mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)\end{array}$$

参数学习过程

策略梯度学习过程

数据采样

• 利用$\theta$参数的actor和环境交互，采集n条样本，收集每条样本的奖励。
• 每个样本只使用一次：模型更新完成后 ，需重新采样才能更新模型。

梯度计算

• 为每一对$(s,a)$
  • 计算对数概率 $\log p_{\theta }(a_t^n\mid s_t^n)$，
  • 为对数概率取梯度，并乘以权重 ，即回报$G({\tau }^n)$
• 代入策略梯度函数，求出整体梯度

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}G({\tau }^n)\cdot \mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)\end{array}$$

梯度上升法做参数更新

• 最大化目标函数 $J(\theta )$

$$\theta \leftarrow \theta +\alpha \cdot \mathrm{\nabla }J(\theta )$$

策略梯度loss

策略梯度相关loss

• 朴素PG策略梯度 Loss
• Actor-Critic 策略梯度及Loss
• PPO Critic Loss

策略梯度loss

传统交叉熵/监督学习loss

• 预测值，有真实值，做交叉熵评判准确程度

$$H(q,p)=-\sum _{x\in X}q(x)\cdot \log p(x)$$$$H(y^{\prime },y)=-\sum _i{y}_{i,\mathrm{真}\mathrm{实}}^{\prime }\cdot \log y_{i,\mathrm{预}\mathrm{测}}$$$$H(y^{\prime },y)=-\sum _i\log y_{i,\mathrm{预}\mathrm{测}}$$

策略梯度loss-轨迹粒度

• 轨迹回报越高、希望轨迹概率也越高，即二者同分布，使用交叉熵来衡量，非常合适
• $R(\tau )$代表实际回报，代替真实分布

$$L(\theta )=-\sum _{\tau \sim p_{\theta }(\tau )}R(\tau )\cdot \log p_{\theta }(\tau )$$

策略梯度loss-动作粒度

• 预测动作，但并没有真实动作 作为参考
• 所以使用奖励回报/优势函数等作为权重，表示动作的好坏。
  • 动作回报越小，表明动作$a_t$不好，loss权重应该降低，优化粒度小一点
  • 动作回报越大，表明动作$a_t$较好，loss权重应该增加，优化粒度大一点

$$\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{s}=-G_t\cdot \log p_{\theta }(a_t\mid s_t)$$

策略函数设计

随机策略：输入状态s，输出对应动作概率分布

离散动作策略函数

Softmax计算概率

• $\varphi (s,a)$是模型为动作输出分数，称为logits，可正可负。
• 计算softmax得出概率称为probs，非负，加起来等于1。
• 取对数后称为log_probs

$${\pi }_{\theta }(a\mid s)=p_{\theta }(a\mid s)=\frac{e^{\varphi (s,a)}}{\sum _{a^{\prime }\in A}{e}^{\varphi (s,a^{\prime })}}$$$$\underset{\text{logits：原始分数}}{\underbrace{{\varphi }_{\theta }(s,\cdot )}}\stackrel{\mathrm{Softmax}}{\to }\underset{\text{probs：概率}}{\underbrace{{\pi }_{\theta }(\cdot \mid s)}}\stackrel{\log }{\to }\underset{\text{log\_probs：对数概率}}{\underbrace{\log {\pi }_{\theta }(\cdot \mid s)}}$$

一般$\varphi (s,a)$和softmax合在一起

• 给定状态$s$，选择动作$a$的对数概率，对参数$\theta$求梯度，乘以该动作权重就是完整策略梯度。

$${\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(a\mid s)\to \underset{\mathrm{权}\mathrm{重}}{\underbrace{{\mathrm{\Psi }}_t}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}$$

连续动作策略函数

策略动作从高斯分布得出

• 在模型最后一层输出均值和方差两个值，来构建一个高斯分布，进行采样即可。

$$N(\varphi (s)\theta ,{\sigma }^2)$$$${\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(a\mid s)=\frac{(a-\varphi (s)\theta )\cdot \varphi (s)}{{\sigma }^2}$$

策略梯度权重设计

策略梯度权重多种形式

策略梯度权重多种形式

策略梯度形式

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{权}\mathrm{重}}{\underbrace{{\mathrm{\Psi }}_t}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

权重${\mathrm{\Psi }}_t$的7种表现形式

• $G(\tau )$ 轨迹总奖励

$$R(\tau )=G(\tau )=r_0+\gamma r_1+\cdots {\gamma }^T{r}_T=\sum _{t=1}^T{\gamma }^{t-1}{r}_t$$

• $G_t$ 动作$a_t$的奖励

$$G_t=\sum _{k=t+1}^T{\gamma }^{k-t-1}\cdot r_k=r_{t+1}+\gamma \cdot G_{t+1}$$

• $G_t-b(s_t)$ 动作$a_t$奖励减去偏移量

$$G_t-b(s_t)$$

• $Q_{\pi }(s_t,a_t)$ 状态动作值函数

$$Q_{\pi }(s_t,a_t)$$

• $A_{\pi }(s_t,a_t)$ 优势函数，A2C 优势的理解，PG优势技巧

$$A_{\pi }(s_t,a_t)=Q_{\pi }(s_t,a_t)-V_{\pi }(s_t)$$

• TD误差

$$A_{\pi }(s_t,a_t)=\underset{\mathrm{TD}\mathrm{Error}}{\underbrace{r_{t+1}+\gamma V_{\pi }(s_{t+1})-V_{\pi }(s_t)}}$$

• GAE

$$A_t^{GAE(\gamma ,\lambda )}(s_t,a_t)=\sum _{l=0}^{\mathrm{\infty }}(\gamma \lambda {)}^l\cdot {\delta }_{t+l}$$$$A_t^{GAE(\gamma ,\lambda )}(s_t,a_t)=\sum _{l=0}^{\mathrm{\infty }}(\gamma \lambda {)}^l\cdot (r_{t+l}+\gamma V(s_{t+l+1})-V(s_{t+l}))$$

策略梯度信号选择问题

AC 存在的问题

ActorCritic 存在的问题 (TRPO/PPO来解决)

• 更新步长选择困难症
• 每次梯度更新时，都对策略做采样。
  • 导致训练过程比较慢、采样随机性导致可能朝着错误方向更新。
• TD Error 估计优势函数是有偏的

策略梯度信号选择-单步奖励+轨迹回报

1. 单步奖励$r_t$

• 缺点：太短视，没看长期回报。永远学不会先苦后甜的策略。

2. 完整轨迹回报$G(\tau )$

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{权}\mathrm{重}}{\underbrace{G({\tau }^n)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

• 高方差
• 权重很大大于0：
  • 所有采样到的动作概率都会提升且好坏区分度不明显
  • 没被采样到的动作，即使可能很好，概率也会下降
    • 因为提升了采样动作，未采样动作就会下降。
• 所有动作a权重都一样：不公平
  • 有的动作好，贡献多，需提升概率；有的动作差，贡献少，需要降低概率。

3. 总回报$G_t$

• 缺点：高方差、权重恒大于0
• 举例
  • 某游戏每步奖励在[90,110]区间，任何轨迹的总回报$G_t$ 都是非常大的正数。
  • 状态$s$下，有2个动作：好动作$a_1$ 、坏动作$a_2$
  • 执行$a_1$后：总回报 1010；更新$a_1$时，+1010，非常强的正信号。
  • 执行$a_2$后：总回报 1005；更新$a_2$时，+1005，同样非常强的正信号。
• 导致所有被采样的动作概率都会提升。
  • 会导致训练过程不稳定、 收敛很慢。
    • 奖励信号都很大，算法很难稳定分辨 出$a_1$ 比 $a_2$ “好了一点点”。
    • 基础量是1000，这个5分的差异，在巨大的更新步长面前几乎可以忽略不计。
• 导致未被采样动作的概率会下降。
  • 例如 $a_3$是一个很好的动作，但由于没有被采样到
    • 提升了 采样到的$a_1,a_2$的概率，就自动降低了$a_3$的概率。

策略梯度信号选择-优势函数

4. 基线/优势函数

• 解决高方差问题：引入并减去基线/状态价值函数$V_{\pi }(s_t)$

$$A_{\pi }(s_t,a_t)=Q_{\pi }(s_t,a_t)-V_{\pi }(s_t)$$$$A_{\pi }(s_t,a_t)=\underset{\mathrm{TD}\mathrm{Error}}{\underbrace{r_{t+1}+\gamma V_{\pi }(s_{t+1})-V_{\pi }(s_t)}}$$

• 例子

  • 游戏例子
  $$\begin{array}{lll}{a}_1& A(s,a_1)=1010-1000=10& \mathrm{清}\mathrm{晰}\mathrm{的}\mathrm{正}\mathrm{信}\mathrm{号}\\ a_2& A(s,a_2)=1005-1000=5& \mathrm{较}\mathrm{弱}\mathrm{的}\mathrm{正}\mathrm{信}\mathrm{号}\\ a_4& A(s,a_4)=990-1000=-10& \mathrm{清}\mathrm{晰}\mathrm{的}\mathrm{负}\mathrm{信}\mathrm{号}\end{array}$$
  • 考试例子
    • 总回报$G_t$ ：你考了95分
    • 状态价值$V(s)$基线， 平均98分；
    • 你的优势$A(s_a)$：95-98=-3分，低于平均水平，学习动作$a$ 需要调整。

• 低方差、高偏差

5. GAE

• 平衡方差和偏差

策略梯度重要技巧

添加基线/优势函数

优势相关笔记

• A2C 优势算法
• A2C 优势及趋于0的理解
• Critic Loss 深入理解
• 策略梯度添加基线
• 策略梯度权重设计
• TD Error 估计优势 方差偏差问题
• 广义优势估计

添加基线/优势函数

权重添加基线/优势函数

背景

• 解决权重 $R(\tau )$恒大于0带来的问题：未采样动作概率更新+方差大。
• 加上基线，使其有正有负，降低方差。

核心思想

• 添加基线函数b，使用新权重 $R(\tau )-b$，有正有负
  • $R(\tau )-b>0$：超过基线，让$(s,a)$概率上升
  • $R(\tau )-b<0$：低于基线，让$(s,a)$概率下降

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{基}\mathrm{线}\mathrm{权}\mathrm{重}}{\underbrace{(R({\tau }^n)-b)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

• $R-b$：也称为优势函数

基线函数b的选择

• 平均值 $b=E[G(\tau )],V(s)$：不断把$G(\tau )$值记录下来，求平均即可
• R和b相关性越高，方差越小，公式推导出来的。

降低方差方法的公式推导

降低方差方法的公式推导

目的

• 估计$E[f]$，构造新估计量$\hat{f}$，使得
  • 无偏性：$E[f]=E[\hat{f}]$，
  • 减小方差：$Var(\hat{f})<Var(f)$

核心方法

• 构建$\hat{f}$：引入一个与$f$相关的辅助函数$g$，$E[g]$已知。

$$\hat{f}=f-\alpha (g-E[g])$$

• 保证无偏性推导期望：推导可知$E[\hat{f}]=E[f]$

$$E[\hat{f}]=E[f]-\alpha \cdot E(g-E[g])=E[f]-\alpha \cdot (E[g]-E[g])=E[f]$$

• 推导方差供减小优化使用$\mathrm{Var}(\hat{f})$： 方差、协方差

$$\begin{array}{ll}Var(\hat{f})& =\mathrm{Var}(f-\alpha (g-E[g]))\\ & =\mathrm{Var}(f-\alpha \cdot g)\\ & =\mathrm{Var}(f)+{\alpha }^2\mathrm{Var}(g)-2\alpha \cdot \mathrm{Cov}(f,g)\end{array}$$

• 最小方差求解：求解极值点 $\alpha$取值
  • 方差恒为正，是常数；根据上式可知$Var(\hat{f})$是关于$\alpha$的凹函数，必然存在极小值
  • 求导数并使其为0，求解出最小值时的取值。

$$\begin{array}{l}\frac{\partial Var(\hat{f})}{\partial \alpha }=2\alpha Var(g)-2Cov(f,g)\\ \mathrm{令}\mathrm{其}=0，\mathrm{得}:\alpha =\frac{Cov(f,g)}{Var(g)}\end{array}$$

• 最小方差求解：代回极值点，求解出最小值

$$\begin{array}{ll}Var(\hat{f})& =Var(f)+\frac{Co{v}^2(f,g)}{Var(g)}-2\frac{Co{v}^2(f,g)}{Var(g)}\\ & =Var(f)-\frac{Co{v}^2(f,g)}{Var(g)}\\ & =Var(f)(1-\frac{Co{v}^2(f,g)}{Var(f)Var(g)})\\ & =Var(f)\cdot (1-\underset{\mathrm{相}\mathrm{关}\mathrm{系}\mathrm{数}}{\underbrace{{\rho }^2(f,g))}})\end{array}$$

结论

• 方差极小值：$f$和$g$的相关性越高，$Var(\hat{f})$越小

分配合适的分数

优势相关笔记

• A2C 优势算法
• A2C 优势及趋于0的理解
• 策略梯度添加基线
• 策略梯度权重设计
• 广义优势估计

分配合适的分数

背景

• 解决同一轨迹内，所有动作权重都相同的问题
• 使其有区分度，鼓励好的动作，抑制差的动作

方法1：使用动作时刻t后面的奖励

• 动作$(s_t,a_t)$的权重：
  • 不用时刻0到结束的总奖励，而用动作时刻t开始到结束的总奖励
  • 即不用$G(\tau )$，改用$G_t$作为$(s_t,a_t)$的权重

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{基}\mathrm{线}\mathrm{权}\mathrm{重}}{\underbrace{(G_t^n-b)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$$$G_t^n=\sum _{k=t+1}^{T_n}{\gamma }^{k-t-1}\cdot r_k^n=r_k^n+\gamma G_{t+1}^n$$

方法2：使用优势函数$A^{\theta }(s_t,a_t)$

• 优势函数$A^{\theta }(s_t,a_t)$：在状态$s$，采取动作a，相对于其他动作的优势
• 优势函数$A^{\theta }(s_t,a_t)$：一般由网络估计出来，称为critic评论员

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{动}\mathrm{作}\mathrm{优}\mathrm{势}\mathrm{函}\mathrm{数}}{\underbrace{A^{\theta }(s_t^n,a_t^n)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

不同动作贡献不同，权重也应该不同：

策略梯度算法分类

分类概览

策略梯度分类概览

MC 蒙特卡洛方法

• 回合更新；使用$G_t$作为权重。
• REINFORCE算法

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{权}\mathrm{重}}{\underbrace{G_t^n}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

TD 时序差分方法

• 步骤更新；TD估计Q函数，作为权重。
• Actor-Critic算法

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{Q\mathrm{函}\mathrm{数}\mathrm{做}\mathrm{权}\mathrm{重}}{\underbrace{Q^n(s_t^n,a_t^n)}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$

蒙特卡洛策略梯度优缺点

MC 策略梯度 优缺点

优点 (相比于基于价值的算法)

• 适用于连续动作空间
• 适用于随机性策略
• 计算出的策略梯度是无偏的；基于价值的算法 则是有偏的。

缺点

• 采样效率低：MC采样 不如 TD采样
• 高方差：MC高方差，估计梯度时甚至比基于价值的算法方差还高；G很不稳定
• 收敛性差：容易导致局部最优解
• 难以处理高维离散动作空间

蒙特卡罗策略梯度

REINFORCE 算法

REINFORCE 核心思想

核心思想

• 在策略梯度基础上，使用$G_t$作为动作权重，一个回合更新一次

$$\begin{array}{l}\mathrm{\nabla }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n}\underset{\mathrm{权}\mathrm{重}}{\underbrace{G_t^n}}\cdot \underset{\mathrm{动}\mathrm{作}a\mathrm{的}\mathrm{梯}\mathrm{度}}{\underbrace{\mathrm{\nabla }\log p_{\theta }(a_t^n\mid s_t^n)}}\end{array}$$$$G_t=\sum _{k=t+1}^T{\gamma }^{k-t-1}\cdot r_k=r_{t+1}+\gamma \cdot G_{t+1}$$

• 回合数据
• 同策略算法

算法步骤

• 根据策略采样一个回合数据；采样后，从0到T每时刻 根据$(s_t,a_t,G_t)$做参数更新

$$(s_0,a_0,r_0),(s_1,a_1,r_1),\cdots ,(s_T,a_T,r_T)$$$$(s_0,a_0,G_0),(s_1,a_1,G_1),\cdots ,(s_T,a_T,G_T)$$

• 计算每时刻$G_t$权重

$$G_t=\sum _{k=t+1}^T{\gamma }^{k-t-1}\cdot r_k=r_{t+1}+\gamma \cdot G_{t+1}$$

• 计算动作策略梯度：$(s_t,a_t)$ 对数概率梯度

$$\mathrm{\nabla }\log p_{\theta }(a_t\mid s_t)$$

• 每时刻更新参数

$$\theta \leftarrow \theta +\alpha \cdot {\gamma }^t{G}_t\cdot \mathrm{\nabla }\log p_{\theta }(a_t\mid s_t)$$

算法流程

伪代码

REINFORCE++ 算法

具体见笔记：REINFORCE++