让SFT重新伟大！CMU等华人学者提出全新「批判式微调」，媲美复刻版DeepSeek

EmRq0jj

模仿是传统语言模型训练的主要方式。LLM在解决现实世界问题方面之所以表现出前所未有的性能，其中一项核心技术是监督微调（SFT）。
在SFT的过程中，模型被要求模仿人类标注或合成的高质量回复，以增强通用指令遵循能力。这类SFT数据集通常使用Self-Instruct和Evol-Instruct等方法进行构建。
然而，这种方法存在明显的局限性。随着数据集规模和质量的提升，SFT面临着边际收益递减的问题，尤其是在训练本身效果就不错的基础模型时，使用SFT甚至可能会导致性能下降。
最近，CMU、滑铁卢大学等机构的3名华人学者就发表了一篇论文，针对SFT做出了更进一步的改进，提出批判式监督微调方法（CFT，Critique Fine-Tuning），旨在让模型更有效地模仿模仿数据集。

论文链接：https://arxiv.org/pdf/2501.17703
批判式监督微调：让SFT重新伟大

CFT将重点从简单模仿转向基于批判的学习，核心思想是让模型学会批判，而不是简单地模仿，其灵感来源于人类的学习过程。
学霸们在学习过程中，不仅仅是复制提供的答案，而是分析、批判和改进它们。同样，CFT数据集中为错误响应提供相应的批评供模型学习，让LLM能够识别响应中存在的缺陷，进而提出改进建议并验证正确性。
这种方法不仅能够提升推理能力，还能使模型在面对复杂任务时表现出更强的适应性和灵活性。
比如，针对这个问题：在直角三角形的直角边长分别为3个单位和4个单位的情况下，构造一个正方形。求五边形$ABCDE$的面积（单位：平方单位）。
在SFT模式下，模型会一步步的进行运算，先运用勾股定理计算斜边长度为5，再计算正方形的面积为25，以及三角形面积6，之后模型给出回答25-6。
而在CFT模式下，会由模型对上述回答给出批评，指出错误点是应该加上而非减去三角形的面积，并给出正确答案31。

下图展示了典型的SFT和CFT数据样例。

SFT让大模型直接模仿答案，CFT让大模型模仿对错误回答的批评
CFT的高训练效率

那么，如何获得CFT训练所需的数据呢？
论文基于WebInstruct，构建了一个50K个带批评意见的问答对作为训练数据集，其中的批评由GPT-4o等高级模型生成，上述的题目是其中一个例子。这些问题主要聚焦数学领域（65%），也包括物理、化学、商业等主题。

CFT数据集与其他SFT数据集对比
之后在CFT数据集上训练7B大小的、没有经过指令微调的LLM，如DeepSeekMath-base、Qwen2.5和Qwen2.5-Math。
CFT方法的训练目标相当直接：将问题x和错误响应y拼接为作为输入，然后优化模型参数以生成评论c ，相当于训练模型学会批判性思维。

实验中，作者考察了LLM在经过指令微调与批判性微调后，在数学相关基准上的性能提升。结果显示：CFT训练的模型可以持续优于SFT训练的最佳模型。
相比SFT，CFT的准确率平均高出4-10个百分点。不仅如此，训练效率也更高，能在更少的训练数据上实现更快的收敛，因此有望成为开发数学推理模型的一种更有效的方法。

Qwen2.5-Math-7B在MATH和Minerva-Math上不同方法的训练动态比较，包括CFT与两种SFT变体，横轴代表训练步数，纵轴显示准确率

在同样是50k个样本上时，不同的基座模型使用CFT和SFT训练后的性能提升
如果只聚焦于Qwen2.5-Math-7B这一个模型就可以看到，在各种数据集和任务上，CFT的训练效果都能全方位超越SFT。

论文将训练后的Qwen2.5-Math-7B-CFT与知名的Llama、GPT系列，以及尤其擅长推理的Deepseek、Mathstral、Numina等系列模型进行了对比，结果如下表所示。

Qwen2.5-Math-7B-CFT的平均性能（48.1%）甚至优于参数量10倍的Llama-3.1-70B-Instruct（40.4%）和 NuminaMath-72B-CoT（39.1%），与Qwen2.5-Math-72B-Instruct（56.4%）相近。
此外，CFT训练的模型在性能上也能够与使用140倍计算资源训练的SimpleRL模型（Deepseek R1的公开复制版）相媲美，使用的GPU时长降低到144分之一，相当于大幅削减了计算成本。

研究人员还对 CFT 的多个因素进行了消融研究。结果表明，CFT对于数据集来源、噪声响应来源以及教师批判模型的选择都具有较强的鲁棒性。
例如，即使使用较弱的GPT-4o-mini模型生成批评意见，CFT仍然能够取得显著的性能提升。

局限与扩展

CFT训练数据集中，作为gold standard的批评数据是由LLM生成的。作者手动检查其中50个后，发现其中20%的批评意见本身就包含错误。这些错误可能会对模型的训练产生一定的干扰，影响其最终性能。
此外，CFT训练的模型目前还无法进行自我批评，因此尚未观察到自我改进的效果。
该研究使用的数据集也存在代表性不足的问题，目前只是集中在数学问题上，而在编程以及科学，甚至人文相关的推理问题上，是否仍能采用类似的CFT模式进行训练，有待研究。
CFT的优势在于其对模型推理能力的显著提升以及对训练数据的高效利用。通过让模型学会批判，等效于让大模型进行单次的强化学习。
与现有的自我修正（Self-Correction）、奖励模型（Reward Models）等方法相比，CFT的目标是通过批判学习来提升模型对问题的深入理解，而不是直接估计奖励分数或进行自我修正。这种方法在推理任务中表现出了更强的适应性和灵活性。
更为关键的是，CFT的数据集构建和训练过程相对简单，计算成本较低，因此在实际应用中具有较高的可行性和经济性。未来的研究可能会在提升批判数据质量和探索模型自我批判机制方面取得突破。
首先是开发自动验证工具或创建人类验证的批判数据集，提升批判数据的质量；而要发展出自我批判和自我改进的能力，则需要让大模型通过用户的反馈，实现模型的持续优化。
进一步的研究也可能包括将CFT与其他训练范式，如SFT和RL相结合，扩展到多模态环境，并研究其理论基础。