摘要
近年来，最优输运（Optimal Transport, OT）理论因其在分布对齐、概率测度比较等问题上的卓越表现受到广泛关注。本文从“世界不断演进遵循最小代价策略”这一自然哲理出发，详细阐述了一种基于最优输运思想的分组奖励策略优化算法（Grouped Reward Policy Optimization, GRPO）。我们将详细讨论算法的采样机制、奖励归一化、局部优势函数构造、Token级路径积分奖励分配以及利用KL正则化实现策略平滑更新的全流程。通过对每一步骤的严谨描述，本文既揭示了大模型在参数化复杂成本时的内在原理，也为进一步算法改进提供了理论依据和实现参考。
1. 引言
自然界中演化的过程常被认为是以最小代价或最小成本进行状态转移。同理，在机器学习与强化学习领域，特别是在语言模型和其他生成模型中，也存在着对“输运成本”最小化的内在追求。大模型经过大量人类语言的学习，在参数内部隐式地嵌入了一个复杂的成本（或奖励）函数，并在推理过程中逐层完成自由能损失的最小化，进而实现一种近似最优输运。本文提出的GRPO算法正是基于这一思想，从多采样到奖励归一化，再到策略更新，均可以视为一个局部输运过程，而通过局部最优累积，逼近全局最优解。
2. GRPO算法的理论基础
2.1 最优输运与自然演化
最优输运理论本质上解决的是从一个概率分布到另一个概率分布的最小代价传输问题。我们可以将模型在每一推理步骤上的输出视为从源分布向目标分布的输运过程，其中：
- 源分布：对应组内采样获得的原始奖励分布；
- 目标分布：对应高奖励区域，即理想输出的奖励集中区间。
通过对奖励分布进行归一化与局部对齐，模型可以利用局部Wasserstein梯度信息，自适应地将输出分布“拉近”目标分布。
2.2 熵正则化与KL散度
在OT问题中，熵正则化常用于平衡数据分布对齐的稳定性。Sinkhorn算法便是在该思想下实现的。在GRPO中，通过在策略更新过程中引入KL散度正则项，同样实现了平衡探索与利用，以避免策略过快偏离先验分布。具体地，通过交替优化奖励模型和策略，两者逐步收敛于一个稳定的策略-奖励平衡点。
3. GRPO算法实现细节
GRPO算法主要包括以下几个核心步骤：多采样输出、奖励基线计算、归一化处理、Token级奖励分配、策略更新与正则化。下面逐步介绍各模块的实现细节。
3.1 多采样与组内奖励统计
对于同一输入问题，模型按照当前策略生成多个输出样本（组内采样），记作 {y₁, y₂, …, y_N}。对于每个样本 yᵢ，通过预定义的奖励函数 R(yᵢ) 得到对应的原始奖励值。计算组内样本的平均奖励 μR 与标准差 σR，用于后续归一化。
算法伪代码如下：
输入：输入样本 X，当前策略 π，采样数量 N
输出：原始奖励集合 {R(y₁), R(y₂), …, R(y_N)}
for i = 1 to N do
yᵢ ← 从策略 π 采样生成输出，对应输入 X
R(yᵢ) = 奖励函数(yᵢ)
end for
μ_R = Mean({R(y₁), R(y₂), …, R(y_N)})
σ_R = Std({R(y₁), R(y₂), …, R(y_N)})
3.2 奖励归一化与优势函数构造
对每个样本的奖励进行归一化处理，计算优势函数 A(yᵢ)：
A(yᵢ) = \frac{R(yᵢ) - μ_R}{σ_R}
该归一化操作相当于对组内奖励分布进行对齐，减少统计差异，并使高奖励区域更为突出。优势函数 A(yᵢ) 可视作局部Wasserstein梯度的指示信号，指引策略沿高奖励方向优化。
3.3 Token分步奖励分配与路径积分
在生成较长的序列时，将整个输出拆解为若干推理步骤（Token生成）：
- 对于每个推理步骤 t，模型计算当前 Token 的即时奖励 a_t，并结合后续Token的优势累计，得到 Token 的总优势 S_t。
- 这种分步奖励堆积可被看作路径积分形式的输运成本，逐步逼近全局动态最优输运。
令 Token t 的优势为：
S_t = a_t + \sum_{k=t+1}^T \gamma^{(k-t)} A(y_k)
其中，γ 表示衰减因子，用于控制未来优势在当前Token决策中的影响程度。
3.4 策略更新与KL正则化
在完成奖励分配后，利用策略梯度方法更新策略 π。目标函数通常包含基于优势函数的策略损失 Lₚ 与 KL 散度正则项 L_KL：
L = Lₚ + \lambda L_{KL}
其中：
策略的更新采用交替优化的方式，即先固定奖励模型后更新策略，再反过来优化。此过程类似于熵正则化OT交替优化的机制。
3.5 完整算法流程
下文给出GRPO算法的完整伪代码，涵盖从采样、归一化、Token奖励累计到策略更新的全部细节。
算法：GRPO策略优化
输入：训练数据集 D，每个样本 X；初始策略 π_θ；参考策略 π_ref；采样数量 N；正则化系数 λ；折扣因子 γ；训练步数 K；
输出：优化后的策略 π_θ
for k = 1 to K do
从 D 中采样 mini-batch 数据 {X}
for 每个 X in mini-batch do
// 1. 多采样获得组内样本
for i = 1 to N do
yᵢ ← 从 π_θ 采样生成输出，记录 Token序列 {yᵢ₁, yᵢ₂, ..., yᵢ_T}
R(yᵢ) = 奖励函数(yᵢ)
end for
// 2. 计算奖励统计量，归一化奖励
μ_R = Mean({R(y₁), R(y₂), …, R(y_N)})
σ_R = Std({R(y₁), R(y₂), …, R(y_N)})
for i = 1 to N do
A(yᵢ) = (R(yᵢ) - μ_R) / σ_R
end for
// 3. 分步Token奖励累计（路径积分形式）
for i = 1 to N do
for t = 1 to T do
S_t = a_{i,t} + sum_{k=t+1}^{T} (γ^(k-t)) * A(yᵢ_k)
// 记录 Token t 的优势值 S_t 用于更新
end for
end for
// 4. 策略更新：基于所有 Token 的累计优势更新策略参数 θ
计算策略损失 Lₚ = -E_{y ∼ π_θ}[Σ_{t=1}^{T} S_t * log π_θ(y_t|X)]
计算 KL 散度正则项 L_{KL} = KL(π_θ(·|X) || π_ref(·|X))
总损失 L = Lₚ + λ L_{KL}
利用梯度下降法更新 θ，使 L 最小化
end for
end for
返回优化后的策略 π_θ
4. 算法讨论
4.1 分组归一化与有限样本近似
以上算法通过组内采样和奖励归一化实现了对全局奖励分布的有限样本估计，与OT中的小批量近似（mini-batch或切片Wasserstein）具有异曲同工之妙。这样不仅降低了计算复杂度，同时利用有限样本捕捉到目标分布的局部特性，为生成高质量样本提供了充分依据。
4.2 动态输运与局部最优累积
将长链推理过程拆分为多个局部输运步骤（Token级奖励累计），使得每一步都在局部最优驱动下逼近全局最优。该动态输运思想与物理学上的路径积分形式不谋而合，将全局最优问题转化为若干局部问题的迭代求解，有效降低了优化难度。
4.3 策略平滑更新
引入KL正则化项相当于在策略更新中加入了一种“熵松弛”，使得更新过程既能适应奖励变化，也不会因过快更新而导致策略分布剧烈波动。这与熵正则化OT的方法思路相似，确保策略平滑且稳定地朝向高奖励区域迈进。
5. 结论
本文从最优输运的基本思想出发，提出了一种详细完整的分组奖励策略优化算法（GRPO）实现方案。我们详细讨论了从多采样、奖励归一化、Token分步奖励分配到策略更新的全流程，揭示了各步骤与OT中局部与全局输运思想的内在联系。通过交替优化与KL正则化，算法能够高效而稳定地逼近全局最优解。该方法不仅为大模型理解与优化提供了新视角，也为未来在复杂生成任务中的策略优化带来了可贵的理论和实践指导。
