敏神又发布了一个新项目LuminaBrush 发光笔刷,可以直接在图片上绘制灯光效果,这个应该是IC-Light的副产物,不过敏神还没有完全开源,而是在github创建了仓库,估计也离开源不远了。目前可以在huggingface上试用
仓库:https://github.com/lllyasviel/LuminaBrush
在线测试:https://huggingface.co/spaces/lllyasviel/LuminaBrush
可以看到效果还是很不错的,人物的细节和外貌没有明显改变,而且支持提示词可以换背景
发光笔刷和IC-light的区别主要是你可以通过交互式地涂鸦来改变图像主体的光照,IC-Light只是依靠文本描述或者背景图,而LuminaBrush可以通过区域涂鸦更精细地控制光照。
LuminaBrush 是一个两阶段框架。第一阶段(左侧)将图像转换为“均匀照明”外观(例如,由均匀分布的白色环境光源照明的图像);第二阶段(右侧)根据用户涂鸦的指导,为那些“均匀照明”的外观生成照明效果。
将照明绘图问题分解为两个阶段使学习更容易、更直接 - 否则(例如,如果仅使用一个阶段)可能需要考虑外部约束/规定(如光传输一致性等)以稳定模型行为。
我们首先收集一组相对较小的具有相对均匀照明外观的图像 - 例如如下所示:
(然后我们还使用在该集合上训练的 Flux LoRA 生成的图像来扩展该集合)
使用这些“均匀照明”图像作为中间表示具有一些优点,例如避免 3D 反照率中过于尖锐的网格边界或过于平坦的表面。这些图像足够详细,可以处理皮肤纹理细节、头发、毛皮等。
然后,我们合成随机法线以随机重新照亮这些“均匀照明”图像,以训练可以从任何输入图像中提取“均匀照明”外观的模型。
之后,我们从数百万张高质量的野外图像中提取“均匀照明”的外观,以构建配对数据来训练最终的交互式照明绘图模型。
1
© CopyRight 2002-2024 ,CHINAZ.COM , Inc.All Rights Reserved.