敏神新作!打光新玩具LuminaBrush,让打光变得更简单

12/27/2024, 9:33:51 AM | 热度:145 | 阅读本文需 2 分钟

点赞

敏神又发布了一个新项目LuminaBrush 发光笔刷,可以直接在图片上绘制灯光效果,这个应该是IC-Light的副产物,不过敏神还没有完全开源,而是在github创建了仓库,估计也离开源不远了。目前可以在huggingface上试用

仓库:https://github.com/lllyasviel/LuminaBrush 

在线测试:https://huggingface.co/spaces/lllyasviel/LuminaBrush

效果图

可以看到效果还是很不错的,人物的细节和外貌没有明显改变,而且支持提示词可以换背景

image.png

image.png

image.png

image.png

image.png

发光笔刷和IC-light的区别主要是你可以通过交互式地涂鸦来改变图像主体的光照,IC-Light只是依靠文本描述或者背景图,而LuminaBrush可以通过区域涂鸦更精细地控制光照。

原理架构

image.png

LuminaBrush 是一个两阶段框架。第一阶段(左侧)将图像转换为“均匀照明”外观(例如,由均匀分布的白色环境光源照明的图像);第二阶段(右侧)根据用户涂鸦的指导,为那些“均匀照明”的外观生成照明效果。

将照明绘图问题分解为两个阶段使学习更容易、更直接 - 否则(例如,如果仅使用一个阶段)可能需要考虑外部约束/规定(如光传输一致性等)以稳定模型行为。

我们首先收集一组相对较小的具有相对均匀照明外观的图像 - 例如如下所示:

image.png

(然后我们还使用在该集合上训练的 Flux LoRA 生成的图像来扩展该集合)

使用这些“均匀照明”图像作为中间表示具有一些优点,例如避免 3D 反照率中过于尖锐的网格边界或过于平坦的表面。这些图像足够详细,可以处理皮肤纹理细节、头发、毛皮等。

然后,我们合成随机法线以随机重新照亮这些“均匀照明”图像,以训练可以从任何输入图像中提取“均匀照明”外观的模型。

之后,我们从数百万张高质量的野外图像中提取“均匀照明”的外观,以构建配对数据来训练最终的交互式照明绘图模型。


1

继续阅读本文相关话题

本文收录于专题

ComfyUI教程

共收录篇

查看本专题

文章目录

效果图

原理架构

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通