在当今人工智能的快速发展中，强化学习（Reinforcement Learning, RL）作为一种重要的学习方法，正在不断推动大型语言模型（LLM）的进步。本文将详细解读 DeepSeek-R1 及其变体 DeepSeek-R1-Zero 的算法实现，特别关注其在无监督学习和强化学习中的具体应用和细节。
🌟 引言：从 SFT 到 RL 的转变
在传统的 LLM 训练中，监督微调（Supervised Fine-Tuning, SFT）是不可或缺的一步。然而，DeepSeek-R1 的提出挑战了这一常规思维，探索了在没有 SFT 的情况下，如何通过纯 RL 训练来提升模型的推理能力。DeepSeek-R1-Zero 作为这一理念的先锋，展示了 RL 在自我进化中的潜力。
🔍 DeepSeek-R1-Zero：纯 RL 训练的探索
1.1 简介
DeepSeek-R1-Zero 的“Zero”意指无需人类数据，模型能够通过自我迭代实现学习。这一过程的核心在于 RL 算法的应用，尤其是在没有 SFT 的情况下，如何有效地进行训练。
1.2 RL 算法
DeepSeek-R1-Zero 采用了 GRPO（Generalized Policy Optimization）算法。该算法的关键在于：
- 在线采样：对于每个提示（prompt），在线采样 N 条回答，并将其分组。
- 优势估计：通过相对分数计算优势，优化模型。具体公式如下：
A = \frac{1}{N} \sum_{i=1}^{N} (r_i - b)
其中，r_i 是每个回答的奖励，b 是基线。
- KL 散度：采用无偏的 KL 散度变种，确保模型在训练过程中保持稳定。
1.3 数据收集
在 RL 训练中，数据的收集至关重要。DeepSeek-R1-Zero 通过特定的提示词模板（如 <think> 和 <answer>）来收集数学题及其答案。模型在初始阶段的稳定性较差，主要由于缺乏 SFT 的支持。
1.4 奖励机制
在数学题的场景中，模型通过匹配答案的正确性来获得奖励。例如，对于问题：
\text{find the minimal value of } x^2 - 4x + 1 = 0
如果模型的答案为 \boxed{-3}，则通过规则匹配获得奖励 1，反之则为 -1。这种简单的奖励机制避免了训练奖励模型的复杂性。
1.5 效果分析
DeepSeek-R1-Zero 在 RL 训练过程中表现出色，模型能够自发产生反思和重新评估的行为，显示出其推理能力的提升。
1.6 Aha Moment
在训练过程中，模型生成了一些“自言自语”的文本，展示了其自主思考的能力。这一现象表明，通过适当的激励，模型能够自主发展出复杂的解决策略。
1.7 弊端
尽管 DeepSeek-R1-Zero 在推理能力上取得了一定的进展，但由于缺乏人工指令微调，模型的输出格式不够规范，且可读性较差。
🔄 DeepSeek-R1：引入 SFT 的改进
2.1 冷启动（Cold Start）
为了克服 DeepSeek-R1-Zero 的不足，DeepSeek-R1 引入了冷启动阶段，即在 RL 训练之前进行 SFT。通过收集少量高质量的数据，模型能够更好地对齐并提高推理性能。
2.2 推理导向的强化学习
在冷启动后，DeepSeek-R1 进入了推理导向的 RL 训练阶段。为了解决语言混合的问题，模型引入了语言一致性奖励，确保输出的语言保持一致。
2.3 拒绝采样与监督微调
在这一阶段，模型不仅关注推理能力，还结合了其他领域的数据，以增强其通用能力。通过规则基础的数据收集，DeepSeek-R1 收集了 600K 的推理数据和 200K 的非推理数据。
2.4 全场景的强化学习
最终，DeepSeek-R1 结合了规则奖励和偏好奖励进行 RL 训练。这一阶段的目标是提升模型在复杂场景下的表现。
🧪 蒸馏过程
DeepSeek-R1 还引入了蒸馏技术，通过从大型模型中提取知识，生成小型模型。研究表明，蒸馏模型的推理能力优于从零开始的 RL 训练。
❌ 不成功的尝试
在探索过程中，PRM（Policy Ranking Model）和 MCTS（Monte Carlo Tree Search）未能达到预期效果。尽管 PRM 在重排序方面表现良好，但其在大规模 RL 训练中的计算开销较大。MCTS 在处理 LLM 的复杂搜索空间时也面临挑战。
📝 总结
DeepSeek-R1 的研究展示了 RL 在 LLM 训练中的巨大潜力。通过引入冷启动和推理导向的 RL 训练，DeepSeek-R1 显著提升了模型的推理能力和输出质量。尽管仍存在一些挑战，但这一研究为未来的 LLM 训练提供了新的思路和方向。
📚 参考文献
- 小冬瓜AIGC. (2025). 深入探讨 DeepSeek-R1：RL前真的不需要SFT了吗？知乎专栏.
- 相关文献与研究资料.
- 其他相关的 LLM 和 RL 研究论文.
希望这篇文章能够为您提供对 DeepSeek-R1 算法实现的深入理解。如需进一步探讨，请随时联系！
