当大型语言模型（LLM）驱动着人工智能迈向新纪元时，人工反馈在强化学习（RL）中的角色日益凸显。许多研究者正试图为这些庞然大物设计高质量的奖赏信号，而这背后隐藏着一种“通才奖赏”（Generalist Reward Modeling，GRM）的方法学革新。今天，我们就带着好奇心，穿越这篇论文的科技星河，探寻如何在推理时利用额外计算资源提升奖赏生成的精度与鲁棒性。
🌟 模型迁徙的起点：大型语言模型与奖赏建模
在人工智能的浩瀚宇宙中，大型语言模型如同群星闪耀，它们不仅仅可以生成优美的诗篇，还能在复杂任务中展现出推理、决策与适应的能力。强化学习作为后训练的重要手段，为这些模型提供了不断校正与精进的机会。历史告诉我们：越是精准的奖赏信号，模型越能够沿着人类期望的轨迹稳步攀升。正因如此，当传统的通过人工设计规则或针对特定领域优化的数据无法满足通用性要求时，设计一套“通才”奖赏系统便成为了新时代的必选题。
论文提出，为了解决令人头疼的多领域奖赏生成问题——即在无明确参考或人工规则的情况下如何确定回答的“好坏”——研究者们提出了点对点生成奖赏建模（Pointwise Generative Reward Modeling, GRM）。这种方法将奖赏和批评（critique）纳入纯语言表示中，既为不同输入类型提供了灵活性，又为后续推理级别的延伸打开了大门。
🧭 指向未来的原则生成：从理解到生成
传统上，大型语言模型获得高质量奖赏往往依赖于人类设计的规则或具体的可验证任务。但是在通用领域，奖赏标准千差万别，就像宇宙中众多未知星系，既没有现成的导航图，也没有明确的参考坐标。为此，论文引入了一个颇富哲理的思想：将“原则”作为指引，利用人工智能自身生成的准则来衡量答案的质量。想象一下，这些原则就好比星舰导航中的宇宙罗盘，指引模型在浩瀚数据中找到正确的“星座”。
数学上，我们可以将这一转变形式化为
R = C \sim r_\theta(x, \{y_i\}_{i=1}^n, \{p_i\}_{i=1}^m),
其中 x 代表查询，y_i 为各个回答，而 p_i 则是模型生成的指导原则。这样的设计不仅使奖赏信号更具层次感，还赋予了模型对多样化任务自我校正的能力。
在初步实验中，研究者们发现：自生成的原则本身难以显著提升性能，但经过精筛的、经过“过滤”后的原则却能够显著提高奖赏质量。这启示我们，正确召唤和运用“原则”是通才奖赏系统成功的关键。
🚀 自主原则批判调优（SPCT）的魔法
接下来，论文精彩地推出了一种全新方法——自主管理批判调优（Self-Principled Critique Tuning，SPCT）。这是一种两阶段的训练机制，其核心目标是使模型在推理时更好地生成准确、细致的批评与指导原则，从而实现高效且可扩展的奖赏生成。
第一阶段：拒绝式微调（Rejective Fine-Tuning）
在SPCT最初的冷启动阶段，模型通过拒绝式微调来熟悉如何生成符合预期格式的批评和原则。就像一名刚入学的航天员，必须在严酷的模拟训练中学习如何正确操作飞船。拒绝策略要求当预测的奖赏与标定的真实奖赏不一致时，即予以剔除，从而迫使模型趋向于正确输出。其数学表达式类似于以下公式：
\forall i \neq j,\, S_j > S_i, \quad j = \operatorname{arg\,max}_l \{r_l\},\quad \text{if } n \geq 2,
保证了训练数据中仅保留高质量、有效的反馈轨迹。
第二阶段：基于规则的在线强化学习
进入第二阶段后，模型利用基于规则的在线强化学习（Rule-Based Online RL）进一步优化。模型在这一阶段不断生成批评与原则，并利用规则对结果进行评价。这样做的效果就如同不断调整航向的星舰，通过实时获取外部反馈不断校正方向。整个过程有助于模型在面对不确定和多样的数据时，更好地提炼出具有普遍指导意义的中奖赏信号。
SPCT的精妙之处在于，它解放了“原则”这一概念，不再是预先设定的僵化准则，而是可以根据输入信息动态生成，与具体任务自我对齐。正因为此，模型能够更好地在复杂多变的场景中表现出高度的适应性和稳定性。
⚡ 推理时延伸的加速引擎：多样采样与票选技术
与传统的训练时扩展相比，论文更为新颖的视角在于推理时的延伸——也就是在实际应用中如何通过额外计算资源进一步提升评估准确性。简单来说，推理时延伸就好比在星际探险中，通过开启多条探测路径并让它们投票，来确保最终选出的路线是最优的。
在该文中，研究者们采用了平行采样（Parallel Sampling）的方法，也就是说，对于相同的查询和候选回答，模型进行多个采样，每次生成不同的原则与批评，这样便构成了一个多样化的奖赏集合。最终，再通过投票机制对多个采样结果进行聚合，从而得到更精细、更具有区分度的最终奖赏值。数学上，最终奖赏可以表示为：
S^*_i = \sum_{j=1}^{k} S_{i,j},
这里的 k 就代表采样的次数。每一次采样获得的奖励都是离散的，但聚合之后，可以在一定程度上“扩充”奖赏空间，使得模型在细微差别上的判别力大大增强。
为了进一步过滤掉质量较低的采样结果，论文提出了元奖赏模型（Meta Reward Model，Meta RM），其功能类似于“智能裁判”，通过二元交叉熵损失函数对生成的原则和批评进行质量评分，再筛选出最佳采样结果。这个步骤就如同在激烈的竞技场中找出最稳定、最有说服力的裁判，为最终决策提供坚实保障。
🔍 实验表征与结果展示：从评测到细节剖析
一项技术的真正价值，总要经过严格的实验证明。而本篇论文在各个奖赏建模的基准测试上做出的表现，无疑为SPCT方法和推理时延伸策略提供了有力支撑。
在多个奖赏基准测试数据集上（如Reward Bench、PPE、RMB、ReaLMistake等），研究者们不仅与现有的标杆方法进行了详细对比，还展示了各种方法在不同采样数下的表现变化。实验结果表明，利用SPCT优化后的DeepSeek-GRM模型，在采样数从1到32的过程中，性能表现持续提升；而引入元RM指导投票后，进一步刷新了多个测试基准的最好成绩。
例如，在Reward Bench数据集上，DeepSeek-GRM-27B通过采样与投票机制后的表现显著高于传统标量奖赏模型，不仅在准确性上有提升，在输入灵活性方面也表现突出。纵观整个实验数据，与模型大小扩展（训练时扩展）相比，推理时扩展能够以较小的计算资源消耗，达到甚至超过使用超大参数模型的效果。这种“以小博大”的策略正是现代人工智能领域追求的高效性与灵活性的完美体现。
更有意思的是，论文中还通过消融实验（Ablation Studies）剖析了各个组件的重要性：例如，没有原则生成会使得模型在推理时的得分大幅下降；而没有拒绝式采样，则会出现部分“捷径”现象，导致生成的批评质量下降。这些细节分析不仅为方法学提供了坚实依据，也为未来的进一步优化指明了方向。
图表（如文中Figure 1、Figure 2和Figure 3）直观呈现了不同方法之间的性能差异与推理时延伸的显著优势。在这些图表中，横坐标往往采用对数尺度，展示了随着采样次数增加，最终奖赏得分的稳步上升情况。这一设计犹如在星际地图上展现出各个探测器彼此独立又协调一致的轨迹，清晰地证明了多样采样和投票机制的有效性。
🛠️ 技术路线与实现秘径：训练细节与数据集故事
要想打造一款令人信服的通才奖赏模型，训练细节和数据集的精心构造绝对至关重要。论文中，DeepSeek-GRM-27B采用两阶段的训练策略，将拒绝式采样与基于规则的在线RL相结合，确保在海量且多样的训练数据中，每一个采样都被精挑细选，只有符合高质量标准的样本才进入后续强化学习阶段。
此外，研究者们还在数据构造上花费大量心血：由各种公开数据（如MATH、UltraFeedback、Skywork-Reward-Preference等）以及内部数据构成的训练集合，涵盖了单回复、双回复以及多回复场景，全面保证了模型的通用性与鲁棒性。为了避免采样过程中的“捷径”现象，论文中还引入了“提示采样”（Hinted Sampling）与“非提示采样”（Non-Hinted Sampling）两种策略，并通过精细的消融实验验证了各自的重要性。
训练过程中，研究者们巧妙地利用了 KL 散度惩罚，防止模型过于依赖少量捷径而“崩塌”，同时通过精密的超参数搜索确保每个阶段都能达到最佳稳定性。整体训练流程可用以下公式表述：
J_{GRPO}(\theta) = E\Bigg[\sum_{i=1}^{G} \min\Bigg(\frac{\pi_{\theta}(o_{i,t}|q, o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}|q, o_{i,<t})} \hat{A}_{i,t}, \text{clip}\Big(\frac{\pi_{\theta}(o_{i,t}|q, o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}|q, o_{i,<t})}, 1-\epsilon, 1+\epsilon\Big)\hat{A}_{i,t}\Bigg) - \beta D_{KL}(\pi_\theta||\pi_{\text{ref}})\Bigg],
这个公式蕴含了整个在线强化学习的精髓，通过奖励函数和KL惩罚共同指导模型不断趋近最优状态。
通过上述一系列技术措施和细节打磨，DeepSeek-GRM不仅在性能上实现了重大突破，更为后续如何利用推理时计算资源扩展奖励模型提供了一条可行之路。
📝 结论与未来展望：驶向未知边界的挑战与机遇
总的来说，这篇论文为如何实现通才奖赏模型在推理时进行有效延伸提供了全新的视角和切实可行的方案。从理论到实践，论文详细探讨了如何通过点对点生成奖励方法、动态生成指导原则与批评、以及多样采样与智能投票机制，实现对通用查询的高质量奖励建模。
实验结果无不显示出，利用SPCT进行在线强化学习，再加上推理时的扩展策略，能够使模型在各大奖赏评测基准中表现出色，甚至在某些场景下超越了更大规模的模型。这不仅为模型后训练和推理阶段的协同优化开辟了新道路，也为智能系统在多领域应用提供了坚实基础。
当然，随着技术的发展，仍有许多挑战等待我们去克服：如何在效率和精度之间达到最佳平衡，如何进一步降低对并行采样计算资源的依赖，以及如何将这些方法推广到更多复杂场景中。未来，我们期望看到更多跨学科的合作，借助更先进的算法以及更多真实世界的数据反馈，持续优化奖励模型的通用性和鲁棒性，真正实现让人工智能在各种未知领域中“自我导航”的美好愿景。
在这场通向智慧星辰的漫长旅途中，SPCT与推理时延伸策略便是一枚指引未来的导航星。正如大海中每艘探索未知的新船，总会面临风浪和挑战，唯有不断进化、持续学习，才能驶向那充满希望的彼岸。或许有一天，我们能看到这些通才奖赏模型在实际应用中，如同璀璨星辰般闪耀，推动人类社会步入智能新时代。
🔗 参考文献
- Bai, et al., “Constitutional AI,” 2022.
- Ouyang, et al., “Reinforcement Learning from Human Feedback,” 2022.
- Zhang, et al., “Scalable Reward Modeling for Large Language Models,” 2025.
- Jiang, et al., “Pairwise Reward Modeling and Its Limitations,” 2023.
- Shao, et al., “GRPO: Rule-based Online Reinforcement Learning for Generative Reward Models,” 2024.
