无需引导采样，清华大学提出视觉模型训练新范式
<div id="container" data-v-1d7a5742="" data-element="root" contentScore="4303">引导采样 Classifier-Free Guidance（CFG）一直以来都是视觉生成模型中的关键技术。然而最近，清华大学 TSAIL 团队提出了一种极其简单的方法，实现了原生无需引导采样视觉模型的直接训练。他们在 Stable Diffusion，DiT，VAR，LlamaGen，MAR 五个截然不同的视觉架构上进行了验证，一致发现新方法性能与 CFG 相当，而采样成本减半。[*]算法名称：Guidance-Free Training (GFT)
[*]论文链接：https://arxiv.org/abs/2501.15420
文生图任务中，免引导采样算法 GFT 与引导采样算法 CFG 均能大幅提升生成质量，而前者更为高效。
GFT 可通过调节采样时的「温度系数」来调节 diversity-fidelity trade-off
与此同时，GFT 算法保持了与 CFG 训练流程的高度一致，只需更改不到 10 行代码就可轻松实现。
视觉引导采样的问题与挑战
生成质量和多样性是相互牵制的关系。大语言模型（LLMs）主要通过将模型输出直接除以一个采样温度系数 来权衡二者，可明显提高生成质量。然而，早期研究却发现这类温度采样方法对视觉生成完全不起作用。如今，视觉生成依赖引入一个新的无条件模型，用引导采样（CFG）达到类似温度采样的效果：
然而，CFG 中引入的无条件模型却给视觉模型训练带来了种种掣肘，因为在每一个采样步我们都需要进行有条件和无条件两次模型推理，导致计算开销倍增。此外，在对预训练模型微调或进一步蒸馏时，我们也需要分别考虑有条件和无条件两个视觉模型的训练，这又增加了模型训练的开销及算法复杂度。
为了避免 CFG 引导采样导致的额外计算开销，已有的方法大多采用基于一个预训练好的 CFG 教师模型继续蒸馏的手段。但这引入了一个额外的训练阶段，可能会带来性能损失。
GFT 算法正是尝试解决这一问题。简单说，它实现了原生免 CFG 视觉模型从零训练，且有着和 CFG 相当的收敛速度，算法稳定性与采样表现。更重要的是，它足够简洁、通用。一种算法可同时用于扩散、自回归、掩码三种视觉模型。
Guidance Free Training 算法设计
GFT 完全采用了监督训练中的扩散损失函数。在训练中，其和 CFG 最大的不同是：GFT 并不显式参数化一个「有条件视觉模型」，而是将其表示为一个采样模型和一个无条件模型的线性组合：
这样在在我们训练这个「隐式」有条件模型时，我们本质上在直接训练其背后参数化好的采样模型。
论文证明，随着线性组合系数 β（又称「伪温度系数」）的变化，其对应的采样模型将和 CFG 算法定义的采样分布一一对应。
GFT 的算法灵魂：简单、高效、兼容
在实际部署中，由于 GFT 算法在设计上可以与 CFG 训练方法保持了高度对齐，这使得其可以最低成本被部署实现（
页:
[1]