英伟达开源4K图像生成模型Sana，可在16G显存电脑部署，支持ComfyUI和LoRA训练
<div id="container" data-v-1d7a5742="" data-element="root" contentScore="1691">英伟达开源了一个可以直接生成 4K 图片的模型 Sana。 Sana-0.6B 可以在 16GB 的笔记本电脑 GPU 上部署。生成 1024 × 1024 分辨率的图像只需不到 1 秒钟。官方已经支持了 Comfyui，而且放出了 Lora 训练工具。相关链接
[*]论文：https://arxiv.org/pdf/2410.10629
[*]主页：https://nvlabs.github.io/Sana
论文介绍
Sana是一个文本到图像的框架，可以高效地生成分辨率高达 4096 × 4096 的图像。Sana 可以以极快的速度合成具有强大文本-图像对齐功能的高分辨率、高质量图像，可在笔记本电脑的 GPU 上部署。
核心设计包括：
[*]深度压缩自动编码器：与仅将图像压缩 8 倍的传统 AE 不同，我们训练了一个可以将图像压缩 32 倍的 AE，从而有效减少了潜在标记的数量。 - 线性 DiT：我们用线性注意力取代了 DiT 中的所有原始注意力，这在高分辨率下效率更高，且不会牺牲质量。
[*]仅解码器的文本编码器：我们用现代仅解码器的小型 LLM 取代了 T5 作为文本编码器，并设计了具有上下文学习的复杂人工指令以增强图像-文本对齐。 高效的训练和采样：我们提出了 Flow-DPM-Solver 来减少采样步骤，并通过高效的字幕标记和选择来加速收敛。
因此，Sana-0.6B 与现代巨型扩散模型（例如 Flux-12B）相比极具竞争力，其体积小 20 倍，测量吞吐量快 100 多倍。此外，Sana-0.6B 可以部署在 16GB 笔记本电脑 GPU 上，生成 1024 × 1024 分辨率图像只需不到 1 秒。Sana 可以以低成本实现内容创建。
提高效率的几个核心设计细节
[*]深度压缩自动编码器： 我们引入了一种新的 深度压缩自动编码器 (DC-AE)，将缩放因子大幅增加到 32。与 AE-F8 相比，我们的 AE-F32 输出的潜在标记减少了 16 倍，这对于高效训练和生成超高分辨率图像（例如 4K 分辨率）至关重要。
[*]高效的线性 DiT： 我们引入了一种新的线性 DiT，取代了香草二次注意力，并将复杂度从 O(N2) 降低到O(N)。Mix-FFN 在 MLP 中使用 3×3 深度卷积，增强了 token 的局部信息。线性注意力实现与香草相当的结果，将 4K 生成的延迟提高了 1.7 倍。Mix-FFN 还消除了位置编码 (NoPE) 的需要，并且没有质量损失，标志着第一个没有位置嵌入的 DiT。
[*]仅解码器的小型 LLM 作为文本编码器： 我们使用仅解码器的 LLM Gemma 作为文本编码器，以增强提示中的理解和推理。与 CLIP 或 T5 不同，Gemma 提供了卓越的文本理解和指令遵循能力。我们解决了训练不稳定性问题，并设计了复杂的人工指令 (CHI) 来利用 Gemma 的上下文学习，改善图像-文本对齐。
[*]高效的训练和推理策略： 我们提出了自动标记和训练策略来提高文本与图像的一致性。多个 VLM 生成不同的重新字幕，基于 CLIPScore 的策略选择高 CLIPScore 字幕以增强收敛和对齐。此外，与 Flow-Euler-Solver 相比，我们的Flow-DPM-Solver将推理步骤从 28-50 减少到 14-20，性能更佳。
总体表现
我们在表 1 中将 Sana 与最先进的文本到图像扩散模型进行了比较。对于 512 × 512 分辨率，Sana-0.6 的吞吐量比具有相似模型大小的 PixArt-Σ 快 5 倍，并且在 FID、Clip Score、GenEval 和 DPG-Bench 中的表现明显优于它。对于 1024 × 1024 分辨率，Sana 比大多数具有
页:
[1]