LuminaBrush 在图像上绘制照明效果的构建交互式工具

zrgRgLgiTF

LuminaBrush

LuminaBrush 是一个构建交互式工具以在图像上绘制照明效果的项目。该框架采用两阶段方法：第一阶段将图像转换为“均匀照明”的外观，第二阶段利用用户涂鸦生成照明效果。

相关链接

HF 演示：https://huggingface.co/spaces/lllyasviel/LuminaBrush
GitHub：https://github.com/lllyasviel/LuminaBrush
演示

LuminaBrush 目前基于 Flux。
种子为 12345 的示例：

框架


LuminaBrush 是一个两阶段框架。第一阶段（左侧）将图像转换为“均匀照明”的外观（例如，由均匀分布的白色环境光源照亮的外观）；第二阶段（右侧）在用户涂鸦的指导下为这些“均匀照明”的外观生成照明效果。
将照明绘制问题分解为两个阶段使学习变得更容易、更直接——否则（例如，如果只使用一个阶段）可能需要考虑外部约束/规定（如光传输一致性等）来稳定模型行为。
我们首先收集一组相对较小的、光照相对均匀的图像 - 例如这些：

（然后我们还使用在此集合上训练的 Flux LoRA 生成的图像来扩展此集合）
使用这些“均匀照明”的图像作为中间表示具有一些优势，例如避免 3D 反照率中网格边界过于锐利或表面过于平坦。而且这些图像的细节足以处理皮肤纹理细节、头发、毛发等。
然后，我们合成随机法线来随机重新照亮那些“均匀照明”的图像，以训练一个可以从任何输入图像中提取“均匀照明”外观的模型。
之后，我们从数百万张高质量的野生图像中提取“均匀照明”的外观，构建配对数据来训练最终的交互式照明绘制模型。
这种方法的一个明显的副产品是应用程序可以独立使用“均匀照明的舞台”来“愉悦”图像 - 我们还为想要使用它的人构建了一个 HF 空间：
https://huggingface.co/spaces/lllyasviel/lumina_brush_uniform_lit