DeepSeek-R1 持续刷屏，连 Open R1 都来了！抱抱脸发起，1 天狂揽 1.9k 星

888974111

当初 OpenAI 抛出 Sora 大饼，一时间 Open Sora 项目热火朝天。</p>现在，这股 Open 的风也是反向吹起来了，最新目标，正是国产大模型 DeepSeek-R1。</p> </p>Open R1 项目由 HuggingFace 发起，联合创始人兼 CEO Clem Delangue 是这么说的：</p>

我们的科学团队已经开始致力于完全复制和开源 R1，包括训练数据、训练脚本……
我们希望能充分发挥开源 AI 的力量，让全世界每个人都能受益于 AI 的进步！我相信这也有助于揭穿一些神话。

HuggingFace 振臂一呼，立刻欢呼者众。项目上线仅 1 天，就在 GitHub 上刷下 1.9k 标星。</p> </p>看来这一波，DeepSeek-R1 真是给全球大模型圈带来了不小的震撼，并且影响还在持续。</p>Open R1

不过话说回来，DeepSeek-R1 本身就是开源的，HuggingFace 搞这么个“Open R1”项目，又是为何？</p>官方在项目页中做了解释：</p>

这个项目的目的是构建 R1 pipeline 中缺失的部分，以便所有人都能在此之上复制和构建 R1。

HuggingFace 表示，将以 DeepSeek-R1 的技术报告为指导，分 3 个步骤完成这个项目：</p>

• 第 1 步：用 DeepSeek-R1 蒸馏高质量语料库，来复制 R1-Distill 模型。
  
• 第 2 步：复制 DeepSeek 用来构建 R1-Zero 的纯强化学习（RL）pipeline。这可能涉及为数学、推理和代码整理新的大规模数据集。
  
• 第 3 步：通过多阶段训练，从基础模型过渡到 RL 版本。
  

</p>结合 DeepSeek 的官方技术报告来看，也就是说，Open R1 项目首先要实现的，是用 R1 数据蒸馏小模型，看看效果是不是像 DeepSeek 说的那么好：</p>DeepSeek 开源了 6 个用 R1 蒸馏的小模型，其中蒸馏版 Qwen-1.5 甚至能在部分任务上超过 GPT-4o。</p> </p>接下来，就是按照 DeepSeek 所说，不用 SFT，纯靠 RL 调教出 R1-Zero，再在 R1-Zero 的基础上复刻出性能逼近 o1 的 R1 模型。</p>其中多阶段训练是指，R1 技术报告提到，DeepSeek-R1 训练过程中引入了一个多阶段训练流程，具体包括以下 4 个阶段：</p>

• 冷启动
  

用数千个长思维链（CoT）样本对基础模型进行监督微调（SFT），为模型提供初始的推理能力</p>

• 面向推理的强化学习
  

在第一个 SFT 阶段的基础之上，用和训练 R1-Zero 相同的大规模强化学习方法，进一步提升模型的推理能力，特别是应对编程、数学、科学和逻辑推理任务的能力。</p>

• 拒绝采样和监督微调
  

再次使用监督微调，提升模型的非推理能力，如事实知识、对话能力等。</p>

• 针对所有场景的强化学习
  

这次强化学习的重点是让模型行为与人类偏好保持一致，提升模型的可用性和安全性。</p>目前，在 GitHub 仓库中，已经可以看到这几个文件：</p>

• GRPO 实现
  
• 训练和评估代码
  
• 合成数据生成器
  

</p>阿尔特曼坐不住了

有意思的是，R1 刷屏之中，阿尔特曼也坐不住了。</p>这不，他又带来了 o3-mini 的最新剧透：</p>

ChatGPT Plus 会员可以每天获得 100 条 o3-mini 查询。
Plus 会员马上就能用上 operator 了，我们正在尽力！
下一个智能体 Plus 会员首发就能用。

[attach]http://nas.mbaogou.net/data/images/2025-01-26/827ce91d57cbc8d718044ce6ec3d1858.png.webp[/attach]</p>这话一出，𝕏的空气中充满了快乐的气息（doge）：</p>

哇！DeepSeek 正在让 OpenAI 主动大甩卖诶！

</p>参考链接：

• [1]https://github.com/huggingface/open-r1
  
• [2]https://x.com/ClementDelangue/status/1883154611348910181
  

本文来自微信公众号：量子位（ID：QbitAI），作者：鱼羊</p>此文章来自:IT之家如有涉及侵权请通过邮箱联系:fnhjeqj@163.com删除。