DeepSeek-R1下载量超1000万次，成最受欢迎开源大模型！

wmz

全球最大开源平台Hugging Face联合创始人Clément Delangue宣布——DeepSeek R1 在发布仅仅几周后，就成为了Hugging Face 平台上有史以来最受欢迎的模型。
现在已有数千个魔改变体模型，下载量超过了1000万次！

开源地址：https://huggingface.co/deepseek-ai/DeepSeek-R1
根据DeepSeek-R1在Hugging Face上的数据显示，上个月的下载量是370万次。在全球火爆出圈之后，估计这个月保底800万次以上。

现在打开Hugging Face，基于阿里开源的Qwen系列魔改变体R1模型非常多，这属于是国潮强强联合啦。



网友表示，他最少就贡献了50次，但以后还会更多。

开源AI模型有着光明的未来！

令人印象深刻额成就，祝贺研究团队；AGI要实现了！

DeepSeek在上个月发布了R1版本，在美国AIME 2024测试中R1拿下79.8分，超过了OpenAI的o1模型的79.2分；在MATH-500，R1为97.3分，同样超过了o1的96.4分；
在SWE-bench Verified，R1为49.2分再次超过了o1的48.9分。而在代码测试Codeforces中，R1仅比o1模型低0.3分；MMLU低1分；GPQA低4.2分，整体性能与o1模型相当。
但价格方面o1模型每100万tokens的输入是15美元，R1是0.14美元，比GPT-4o-mini价格还要低成本猛降90%。
输出价格则更是低的离谱，o1每100万tokens输出是60美元，R1只有2.19美元，降低了27倍左右。

在DeepSeek宣布开源R1后，迅速在全球领域走红，还对美国科技股造成重创一直火爆至今。
R1简单介绍

其实DeepSeek最开始开发的是R1-Zero模型，通过纯强化学习训练，不依赖于任何监督学习数据。该模型以DeepSeek-V3-Base为基础，采用了GRPO算法进行训练，通过采样一组输出并计算其相对优势，从而优化模型的策略，避免了传统强化学习中需要与策略模型同规模的评估模型，大大降低了训练成本。
在训练过程中，R1-Zero展现出了一系列强大的推理行为，例如，自我验证、反思和生成长推理链等。这些行为并非人为植入，而是模型在强化学习过程中自然涌现的结果。例如，在AIME 2024数学竞赛中，R1-Zero的Pass@1得分从初始的15.6%提升至71.0%，通过多数投票进一步提升至86.7%，与OpenAI-o1-0912模型相当。这一结果证明了纯强化学习在提升模型推理能力方面的巨大潜力。
但是R1-Zero也存在一些问题，如可读性差和语言混用等。所以，DeepSeek又开发出了R1模型。
R1在R1-Zero的基础上进行了改进，引入了冷启动数据和多阶段训练流程，以提升模型的推理能力和可读性。
冷启动与多阶段训练

冷启动阶段是R1训练流程的起点，也是整个训练策略中最重要的一环。与R1-Zero直接从基础模型开始强化学习不同，R1引入了少量高质量的长CoT数据作为冷启动数据，为模型提供一个更加稳定和优化的起点，从而在后续的强化学习过程中更好地发展推理能力。

冷启动数据的一个关键特点是其对可读性的优化。与R1-Zero生成的推理过程相比，冷启动数据更加注重语言的清晰性和逻辑性。例如，团队设计了一种特定的输出格式，即在每个回答的末尾添加一个总结，并用特殊标记将推理过程和总结区分开来。
这种格式不仅使模型的输出更加易于理解，也为后续的强化学习提供了一个明确的结构框架。
在冷启动阶段之后， R1进入了一个包含多个阶段的复杂训练流程。这一流程的设计目标是通过逐步优化和调整，使模型在推理能力上达到更高的水平，同时在其他任务上也表现出色。
第一阶段：推理导向的强化学习
在冷启动数据的基础上，R1进入了一个以推理为导向的强化学习阶段。这一阶段的核心目标是通过大规模的强化学习，进一步提升模型在数学、编程、科学和逻辑推理等任务上的表现。这一阶段的训练与R1-Zero的强化学习过程类似，但有一个重要的区别：R1在训练过程中引入了语言一致性奖励。
语言一致性奖励的引入是为了解决模型在生成推理链时可能出现的语言混用问题。在多语言的推理任务中，模型可能会在推理过程中混用不同语言，这不仅影响了输出的可读性，还可能干扰模型的推理逻辑。
为了克服这一问题，研究团队设计了一个奖励机制，通过计算推理链中目标语言的比例来优化模型的输出。虽然这种奖励机制在一定程度上略微降低了模型的推理性能，但它显著提升了输出的可读性和一致性。
第二阶段：拒绝采样与监督微调
当推理导向的强化学习接近收敛时，R1进入了一个关键的阶段：拒绝采样与监督微调。这一阶段的目标是通过生成新的监督学习数据，进一步优化模型在推理和其他任务上的表现。
拒绝采样是一种从模型生成的数据中筛选出高质量样本的方法。在这一阶段，研究团队利用当前模型的检查点，通过拒绝采样生成了大量的推理相关数据。这些数据不仅包括了推理任务的样本，还涵盖了写作、事实问答、自我认知等其他领域的数据。通过这种方式，模型不仅在推理任务上得到了优化，还在其他任务上展现了更强的能力。
第三阶段：全场景强化学习
在经过拒绝采样和监督微调之后，R1进入了一个更为复杂的阶段：全场景强化学习。这一阶段的目标是通过结合推理任务的规则奖励和一般任务的偏好奖励，进一步优化模型的性能。
在这一阶段，模型不仅需要在推理任务上表现出色，还需要在其他任务上展现出更高的有用性和安全性。研究团队通过引入多样化的奖励信号和任务分布，确保模型在推理能力、有用性和安全性之间达到平衡。这不仅提升了模型在推理任务上的表现，还使其在其他任务上也展现出了更强的适应性。
例如，在推理任务中，模型继续使用规则奖励来优化其推理链的准确性和效率。而在一般任务中，模型则依赖于偏好奖励来优化其输出的有用性和安全性。通过这种方式，R1能够在多个任务上展现出卓越的性能，同时保持推理能力的核心优势。