Flux Lora训练日记(二):记录第一次训练Flux Lora的过程

9/2/2024, 10:37:32 AM | 热度:605 | 阅读本文需 2 分钟

点赞

接上一篇:https://aisc.chinaz.com/jiaocheng/10328.html

上一篇记录了Lora训练失败的过程,这篇主要分享我改进的地方

本文记录的都是一些自己浅薄的理解,如果有哪些不正确的地方可以加入我们的交流群互相学习指正。

先看Lora效果

在ComfyUI运行,权重1

使用模型是Flux FP8

image.png

image.png

image.png

image.png

这效果是不是还行,不使用Lora的情况,效果也非常好,但是Flux不能直接生成豆豆眼。

image.png

改进的地方:打标签

相比上一次训练,我最大的改动就是打标签。除了改标签其他参数都没改变。

这一次我就打了这么一点标签,在WD反推标签后,我移除了大量的标签,只留下了保留这些图片共性的标签

image.png

为什么我要这么处理标签呢,因为我在Civitai 的一篇文章中学习了Flux处理标签的方法

文章链接:https://civitai.com/articles/6982

简单的说:FLux比你想象的更聪明,太多的标签反而不利于Flux的发挥,因为Flux是一个非常庞大的模型,它训练集的可能比我们见过的所有图片还要多

它能很好的识别你图片中的元素,如果你标签特别精细,可能就会和它认知产生冲突。

比如我上一次在每个标签都写上:1boy, male focus

结果导致模型的泛化性非常差,即使我输入的是1girl也会生成男生

所以在第二次的训练中我只提取了训练集的共性的标签,并没有很精确的描述每个人物的细节,并添加抽象触发词:touxiang

触发词的作用:Flux的内心戏

有了触发词,可以更准确的体现我们的风格,虽然FLux也能直接生成3D的卡通人物,但是在训练时,如果它识别到不认识的元素,它内心想的可能是:我不知道豆豆眼是什么,那我就去查一下标签,发现豆豆眼和自己认知中的UI,3D都匹配不上。

于是发现了touxiang,那就把豆豆眼当作touxing吧。

所以Flux也不知道豆豆眼是什么,但是只要提到touxiang这个触发词,它可能就会想起来自己见过豆豆眼

为什么要训练豆豆眼

因为在UI设计中设计师往往需要绘制人物头像,很多头像都是3D卡通配合豆豆眼的效果,即使是Midjourney也比较直接生成豆豆眼。

所以训练豆豆眼模型对于UI设计还是有一定的帮助。

其次就是训练这个模型的素材比较好找,上篇也提到过在Figma的资源社区很容易找到这种有几十张而且干净简单的图片

image.png

模型的下载地址:

目前模型已经上传到哩布:https://www.liblib.art/modelinfo/99fe1ebb185540238561dbd0926f050b?from=personal_page

Civitai:https://civitai.com/models/712067/flux-lora-3d-cartoon-lora

欢迎各位去下载测试,有不足之处也请多多指正

3

继续阅读本文相关话题

本文收录于专题

ComfyUI教程

共收录篇

查看本专题

文章目录

先看Lora效果

改进的地方:打标签

触发词的作用:Flux的内心戏

为什么要训练豆豆眼

模型的下载地址:

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通