强化学习：基础

阅读量 ，评论量

Doing

https://hrl.boyuai.com/chapter/intro

https://karpathy.github.io/2016/05/31/rl/

基础

策略梯度定理推导：

常见模型

Q-learning

用一个表格（Q表）记录在不同状态下采取各个动作所能得到的潜在回报。

这一算法的关键是学习的目标设置：将『采取该行动后得到的奖励 + 采取动作后的新状态下的最大Q值（无论将来再采用哪种动作）』作为在原状态下实施对应行动后的Q值的目标值，即，\(r_{s\_new} + \gamma Q_{s\_new}\)。

notation 含义
s 当前状态
a 动作
Q表 在各个状态s下采取各个动作a得到的Q值组成的表
Q(s0, a0) 在状态s0下采取动作a0得到的Q值
Q(s0) 在状态s0下采取某个动作a所能得到的最大Q值
r 奖励，通过设置不同状态对应不同奖励从而求得任务所需的Q表

Q表更新（学习）规则： \[ Q_{s_0, a_0} = Q_{s_0, a_0} + \alpha [(r_{s_1} + \gamma Q_{s_1}) - Q_{s_0, a_0}] \] 其中 \(\gamma\) 为未来奖励的衰减率，\(\alpha\) 为学习率，对其做递归展开得（设 \(\alpha = 1\) ）： \[ \begin{align*} Q_{s_0, a_0} &= Q_{s_0} \\ &= r_{s_1} + \gamma Q_{s_1} \\ &= r_{s_1} + \gamma (r_{s_2} + \gamma Q_{s_2}) \\ &= r_{s_1} + \gamma r_{s_2} + \gamma^2 r_{s_3} + \dotso \end{align*} \]

故 \(\gamma\) 越大，对未来考虑越多。

详见demo(treasure_on_right) 。

Deep Q-learning（DQN）

用神经网络来实现Q表的功能，解决状态取值为连续值的问题。

将采取动作后的回报值作为DNN预估值，相当于多个目标的回归任务，目标个数即为全部的动作个数。

demo_DQN

训练细节：

详见demo(DQN/run) 。

Double DQN

理论上来说，DQN的设计会天然存在Q值高估问题：本质是DQN设计的label计算逻辑导致的正向误差累积。

可以从任一状态开始往前倒推来理解。假设在某一状态下采取任一动作后的Q值均为0（或者相差无几），若target_model在某一动作上存在微弱高估，执行max操作后，\(r_{s\_new} + \gamma Q_{s\_new}\) 即为偏高的label，online_model可能会估得偏低可能会偏高，估得偏低时不会出现什么特别的影响，而一旦估得比偏高的label更高时，执行target_replace_op后，target_model也会估得更高；状态往前推，因为通过max操作选label，高估的信息便会继续往前传递，逐渐累加。对于动作空间较大的任务，DQN 中的过高估计问题会非常严重，造成 DQN 无法有效工作的后果。

实际表现会是什么样子：TODO（模型输出的Q值出现大于预设分布最大值的情况？这又怎么影响实际应用的有效性的呢？）

Double DQN的解决方案：在计算label时，max操作和Q值操作不用同一个网络（target_model），而分别用两个网络（max用online_model，Q值用target_model），从而缓解正向误差累积问题。

Prioritized Replay DQN

Dueling DQN

有很多任务，在部分场景中，Q值只受当前状态影响，无论采取什么动作，期望回报区别不大。比如避障任务中没有障碍的场景，承接条数识别任务中承接与否无所谓的用户。

模型预估两部分，价值函数V（不考虑动作，可以理解为预估的是在某一状态下采取任一动作后Q值的均值），和优势函数A（预估的是在某一状态下采取该动作后的Q值 相较于 采取任一动作后Q值 的优势）（若样本为动作a1，该样本是否更新其它动作对应的优势函数部分？）。即将原目标 \[ Q^{online\_model}_{s} = r_{s\_new} + \gamma \max{Q^{target\_model}_{s\_new}} \] 中的Q值计算改为两个输出值的计算： $$ Q^{online_model}{s} = V^{online_model}{s} + A^{online_model}_{s} \

Q^{target_model}{s_new} = V^{target_model}{s_new} + A^{target_model}{s_new} \[ 对于建模不唯一性的问题（对于同样的Q值，如果将V值加上任意大小的常数C，再将所有A值减去C，则得到的Q值依然不变，这会导致训练的不稳定性），通过在计算Q值时再减去一项优势函数的最大值，从而调整最优动作的优势函数值为0，由此确保V值建模的唯一性=max(Q)（TODO 有待理解。。。）： \] Q^{online_model}{s} = V^{online_model}{s} + (A^{online_model}{s} - ) \

Q^{target_model}{s_new} = V^{target_model}{s_new} + (A^{target_model}_{s_new} - ) $$

另外，通过用两个目标的方式来去学习也可以解建模不唯一性的问题（待尝试）。

价值函数： \[ V^{online\_model}_{s} = td\_target \] 和优势函数： \[ A^{online\_model}_{s} = td\_target - V^{online\_model}_{s} \] 其中 $$ td_target = r_{s_new} + \

Q^{target_model}{s_new} = V^{target_model}{s_new} + A^{target_model}_{s_new} $$ 这里td_target依然采用max的方式去做，会不会有问题？

Policy Gradient

DQN 状态可以达到无限，但输出的是已设定的各个动作的Q值（潜在回报值），故动作数量依然是有限的（有几个输出神经元便是所能采取的动作数量）；通过直接输出动作的值而不是某个动作后的回报值的方法，可使得输出动作达到无限，这种方法称为 Policy Gradient。

通过奖励的设置，来去改变回传的梯度的大小（也可以理解为label的置信度），这也是叫PG的原因。

与DQN的本质区别：DQN学的是各个动作后的回报值，PG学的是下一个动作（动作取值 如移动的偏移值，或 动作id的概率）。即如果都是面对离散动作空间的话，PG是在解分类问题，DQN是在解回归问题（类比 PG在做时长满意分类，DQN在做观看时长回归）。

demo_policy-gradient

因为label是直接用的模型输出的action，所以为了避免每条样本的CE都是0，实际操作时选用label的action会引入随机。

与DQN更新的策略不同，DQN可以单步更新参数，而PG只能回合更新。因为虽然label引入了随机，但CE的期望值依然是0，只能用奖励修正loss的期望，故PG只能回合更新（若没完成回合，则所有的动作奖励都是0；除此之外，若即使有奖励值来去修正，但不是同一个回合的样本的话，也会因为随机抽取样本，样本分布发生变化(比如奖励低的资源异常地多)，导致效果变差）。

PG方差太大，lr正常设置容易无法收敛，lr往小里设置收敛太慢（PG为啥方差会很大？）

详见demo(RL_brain/demo) 。

Actor Critic

对PG中用于修正loss期望的奖励，用DQN来预估，这样就能解决PG只能回合更新的问题了。PG称为Actor，DQN称为Critic。

Critic的引入为什么能够减少PG的方差？

判断离线模型有变好的指标：

DDPG

为了继续用DQN的off-policy，且能应对连续action的任务。

相较于DQN主要有三个改动：

PPO（Proximal Policy Optimization）

PPO 利用 New Policy 和 Old Policy 的比例，限制了 New Policy 的更新幅度，让 Policy Gradient 对稍微大点的学习率不那么敏感。

PPO的关键就两点：

  1. 通过重要性采样调整每个样本的权重（等价于调整action的分布），从而实现不依赖重新采样新数据的情况下进行策略更新；
  2. 快模型输出截断，从而实现快模型的更新不偏离慢模型太多（等价于置信区域）；

https://zhuanlan.zhihu.com/p/28223597805

标准PPO

以『倒立摆』为例。

训练流程：

样本收集：

备注：

critic

\[ loss = \text{MSE} (\text{CRITIC}(state), td\_target) \]

\[ 其中，td\_target = reward + 0.9 * \text{CRITIC}(next\_state) * (1 - done) \]

actor

\[ loss = -\min{[A * ratio, A * ratio|^{1.2}_{0.8}]} \]

\[ \begin{align} 其中，& ratio = \frac{p_{actionx}}{p_{actionx}^{old}} \\ & A = td\_delta + 0.9 * 0.9 * A_{next} \\ & td\_delta = td\_target - \text{CRITIC}(state) \end{align} \]

P为快模型，B为慢模型，TD-error即为优势值A

\[ A = reward + \gamma\text{CRITIC}(next\_state) - \text{CRITIC}(state) + \gamma * \lambda * A_{next} \]

数值稳定性问题

重要性采样ratio常用log空间操作，以保证数值稳定性： \[ r_t(\theta) = \frac{\pi_{\theta}(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)} = \exp(\text{new_log_prob} - \text{old_log_prob}) \] 这里的log_prob需要注意的是，new和old的精度一定要保证一致，否则会出现致命的系统偏差：

#### RLHF中的PPO

https://huggingface.co/blog/zh/the_n_implementation_details_of_rlhf_with_ppo

https://zhuanlan.zhihu.com/p/645225982

GRPO（Group Relative Policy Optimization）

尝试了另一条奖励机制设计的路径：

其它细节：

DAPO（Decoupled Clip and Dynamic sAmpling Policy Optimization）

Clip‐Higher：

动态采样：

即时奖励：

过长奖励整形：

litePPO

在大模型、小模型、预训练模型、指令微调模型上做的各种已知技巧的消融实验（只在数学推理数据集上做的，适配其它场景时需具体情况具体分析，其价值更大的是其分析思路(即对梯度组成的各部分做枚举分析，看其数值分布与变化走势，并尝试通过case-by-case地做归纳总结)，而非结论）：

最终归纳最有用的两个技巧：

GSPO（Group Sequence Policy Optimization）

延续GRPO的思路，不仅对优势值做标准化，对ratio也做标准化，进一步提高训练效率和稳定性。

ratio不做标准化存在的问题：

\[ \begin{align} ratio_{回合} &= \exp (\frac{1}{回合长度}\sum_{动作}^{回合}{\log (ratio_{动作})}) \\ &= \prod_{动作}^{回合} \sqrt[回合长度]{ratio_{动作}} \end{align} \]

实际实现为（保证只回传到单个动作对应的梯度流上）： \[ ratio_{实际实现} = \text{SG}(ratio_{回合}) \frac{p_{actionx}}{\text{SG}(p_{actionx})} \] TODO：从异步梯度更新的角度来考虑截断机制的价值吗？或者说慢模型采样并通过加权优势函数训练的本质是异步梯度更新吗？待细索

GFPO（Group Filtered Policy Optimization）

困难样本挖掘的优化思路。

针对reward相同但长度不同的回合，因为NLP任务的性质，回合长度更长的样本对模型来说更容易学到，但从推理效率、计算成本上来说回合更短的生成结果是我们更想要的，故在慢模型采样阶段引入动作效率之类的metic做困难样本挖掘，一个是进一步提高了训练效率，另一个是通过样本挖掘的metic函数实现了更弱一些的偏好对齐。metic可选有：

自适应难度（有点focal loss的意思）：通过采样到的所有回合的平均奖励作为该问题的难度（难度的阈值随模型训练动态更新），难度低的只喂给模型少量样本，难度高的喂给模型更多样本。

Expert Iteration

TBD

一些视角

熵机制

softmax模型的RL梯度

在固定状态s的前提条件下，所有动作的reward和后续价值都是确定值（姑且记为value），但任意一个动作的优势值不是确定值，因为优势值会随所有动作的概率分布变化而变化，本质原因是优势值是用该动作的value减去所有动作的value的期望，这个所有动作的value的期望当然会随所有动作的概率分布变化而变化。故对于公式 $\sum_{a'} \pi(a'|s) A(s,a')$ 来说，如果用于计算该公式的样本也来自于分布 $\pi(a'|s)$ ，则该公式等于0，比如Vanilla Policy Gradient策略；而如果用于计算该公式的样本来自于其它分布 $\pi_{old}(a'|s)$ ，则该公式不等于0，比如off-policy相关的RL策略。

这里关心的是在一次更新前后动作a对应的logit增加或者减少的量，分如下两种情况。

1、Vanilla Policy Gradient（即采样的和训练的actor是同一个版本的模型，没有重要性采样，损失函数是XXX）下，一次更新后动作a对应的logit变化量如下： \[ \begin{align} \Delta logit_a &= z_{s,a}^{k+1} - z_{s,a}^k \\ &= \eta \cdot \frac{\partial loss}{\partial z_{s,a}} \\ &= \eta \cdot \mathbb{E}_{a' \sim \pi} \left[ \frac{\partial \pi(a'|s)}{\partial z_{s,a}} A(s,a') \right] \\ &= \eta \cdot \sum_{a' \sim \pi} \left[ \pi(a'|s) \cdot \frac{\partial \pi(a'|s)}{\partial z_{s,a}} A(s,a') \right] \\ &= \eta \cdot \frac{1}{N} \cdot \sum_{a' \sim \pi} \left[ \frac{\partial \pi(a'|s)}{\partial z_{s,a}} A(s,a') \right] \\ &= \eta \cdot \frac{1}{N} \cdot \left( \underbrace{\pi(a|s) \cdot [1 - \pi(a|s)] \cdot A(s,a)}_{a'=a \text{ 的项}} + \sum_{a' \neq a} \underbrace{\pi(a'|s) \cdot [-\pi(a|s)] \cdot A(s,a')}_{a' \neq a \text{ 的项}} \right) \\ &= \eta \cdot \frac{1}{N} \cdot \pi(a|s) \left( A(s,a) - \sum_{a'} \pi(a'|s) A(s,a') \right) \\ &= \eta \cdot \frac{1}{N} \cdot \pi(a|s) \cdot A(s,a) \\ 其中：& \\ & \bullet a是指在状态s下动作a的预估，a'是指在状态s下任意样本（任意动作a'）的预估，所以这里在算梯度时不是只看一条样本，而是从所有样本的角度去看的; \\ & \bullet 若 \pi 是 \text{softmax} 模型，则 \pi(x) = \text{softmax}(x) 函数的导数是 \frac{\partial \pi(x_{a'})}{\partial x_a} = \bigl\{^{\pi(x_{a'})\bigl(1-\pi(x_{a'})\bigr), \ a'=a}_{-\pi(x_{a'})\pi(x_a), \ a'\ne a}，其中a是指要看的类别，a'是指样本对应的真实类别; \\ & \bullet 若样本分布与模型预估分布同分布，当固定状态s时，优势函数在随机动作下的期望是0，所以 \sum_{a'} \pi(a'|s) A(s,a') = 0; \end{align} \] 2、Off-policy（即采样的和训练的actor是不同版本的模型， \(ratio=\frac{\pi(a'|s)}{\pi_{old}(a'|s)}\) ，损失函数是XXX）下，一次更新后动作a对应的logit变化量如下： $$ \[\begin{align} \Delta logit_a &= z_{s,a}^{k+1} - z_{s,a}^k \\ &= \eta \cdot \frac{\partial loss}{\partial z_{s,a}} \\ &= \eta \cdot \mathbb{E}_{a' \sim \pi_{old}} \left[ \frac{\partial \left( \frac{\pi(a'|s)}{\pi_{old}(a'|s)} \right) }{\partial z_{s,a}} A(s,a') \right] \\ &= \eta \cdot \sum_{a' \sim \pi_{old}} \left[ \pi_{old}(a'|s) \cdot \frac{\partial \left( \frac{\pi(a'|s)}{\pi_{old}(a'|s)} \right) }{\partial z_{s,a}} A(s,a') \right] \\ &= \eta \cdot \sum_{a' \sim \pi_{old}} \left[\frac{\partial \pi(a'|s) }{\partial z_{s,a}} A(s,a') \right] \\ &= \eta \cdot \left( \underbrace{\pi(a|s) \cdot [1 - \pi(a|s)] \cdot A(s,a)}_{a'=a \text{ 的项}} + \sum_{a' \neq a} \underbrace{\pi(a'|s) \cdot [-\pi(a|s)] \cdot A(s,a')}_{a' \neq a \text{ 的项}} \right) \\ &= \eta \cdot \pi(a|s) \left( A(s,a) - \sum_{a' \sim \pi_{old}} \pi(a'|s) A(s,a') \right) \\ 其中：& \\ & \bullet a是指在状态s下动作a的预估，a'是指在状态s下任意样本（任意动作a'）的预估，所以这里在算梯度时不是只看一条样本，而是从所有样本的角度去看的; \\ & \bullet 因为样本来自旧模型，即 A 与正在训练的模型预估分布 \pi 不是同分布，故当固定状态s时，优势函数在新策略分布下的期望不是0，即 \sum_{a'} \pi(a'|s) A(s,a') \ne 0; \end{align}\] $$

从梯度更新的角度来看ratio的作用机制：

softmax模型的策略熵

策略熵快速下降的机理

基座模型决定论：

softmax模型的策略熵，在一次更新后，策略熵的变化约等于动作a在更新前的对数概率与更新前后 logits 变化之间的负协方差，即策略熵的变化由“动作概率”和“logit 更新量”之间的协方差驱动： - 当一个动作 a 在更新前从策略中获得了高概率，并且其对应的 logit 在更新后也在增加，那么它将降低策略熵，降低部分的量级约等于协方差的量级： \(\Delta H \approx -\text{Cov}_{\pi}(\log \pi(a), \Delta logit_a)\) 。 - 协方差 \[\text{Cov}(X, Y) = E[(X - E[X])(Y - E[Y])]\] ，衡量更新力（Update）是否在顺着模型本来的意图（Current Policy）使劲。 - 其中\(X = \log \pi(a)\)，更新前的对数概率，代表了更新前的模型对动作 \(a\) 的偏好，\(X - E[X]\) 衡量模型对动作 \(a\) 的偏好是否比“平均水平”更高； - 其中 \(Y = \Delta logit_a\)，更新前后的 logit 变化量，即 RL 算法给出的奖励信号，\(Y - E[Y]\) 衡量对动作 \(a\) 的更新是否比“平均推力”更强； - 协方差是两者的乘积，可以看作是模型既有偏好与外界奖励信号之间的“共鸣度”； - \(\Delta logit_a = \eta \cdot \pi(a|s) \left( A(s,a) - \sum_{a' \sim \pi_{rollout}} \pi(a'|s) A(s,a') \right)\) （证明过程如上小节），即一次更新后该动作a对应的logit增加或者减少的量，即更新力。 - 一般『高协方差』说明模型的信心和正确性对齐了；通过RL把模型已有的正确倾向变得更确定，通过熵快速下降，把已有的高置信正确轨迹进一步蒸馏进策略里，从而使得RL后的效果比SFT更好。（前提是这个正确性是真的全局正确，如果是局部正确就会导致模型探索不足、过早收敛）

在训练过程中控制策略熵的方法

4dbaab8db5c356d6ac6a33eac

注意，这些额外增加的损失项，

1、loss中直接增加熵损失：

2、增加策略模型和参考模型之间的 KL 惩罚：

3、增加策略模型和rollout模型之间的 KL 惩罚：

4、通过Clip-Higher策略强化旧策略下低概率高优势的动作：

5、通过Clip-Cov策略随机屏蔽掉部分样本，控制高协方差token的更新量：

6、通过KL-Cov策略对部分样本额外增加策略模型和rollout模型之间的 KL 惩罚，控制高协方差token的更新量：

7、增加熵基优势函数项（优势整形），调整不同动作的更新强度：

一些评价指标

常见问题

值函数收敛问题

致命三角（deadly triad）：https://zhuanlan.zhihu.com/p/2883455468