接上一篇:https://aisc.chinaz.com/jiaocheng/10328.html
上一篇记录了Lora训练失败的过程,这篇主要分享我改进的地方
本文记录的都是一些自己浅薄的理解,如果有哪些不正确的地方可以加入我们的交流群互相学习指正。
在ComfyUI运行,权重1
使用模型是Flux FP8
这效果是不是还行,不使用Lora的情况,效果也非常好,但是Flux不能直接生成豆豆眼。
相比上一次训练,我最大的改动就是打标签。除了改标签其他参数都没改变。
这一次我就打了这么一点标签,在WD反推标签后,我移除了大量的标签,只留下了保留这些图片共性的标签
为什么我要这么处理标签呢,因为我在Civitai 的一篇文章中学习了Flux处理标签的方法
文章链接:https://civitai.com/articles/6982
简单的说:FLux比你想象的更聪明,太多的标签反而不利于Flux的发挥,因为Flux是一个非常庞大的模型,它训练集的可能比我们见过的所有图片还要多
它能很好的识别你图片中的元素,如果你标签特别精细,可能就会和它认知产生冲突。
比如我上一次在每个标签都写上:1boy, male focus
结果导致模型的泛化性非常差,即使我输入的是1girl也会生成男生
所以在第二次的训练中我只提取了训练集的共性的标签,并没有很精确的描述每个人物的细节,并添加抽象触发词:touxiang
有了触发词,可以更准确的体现我们的风格,虽然FLux也能直接生成3D的卡通人物,但是在训练时,如果它识别到不认识的元素,它内心想的可能是:我不知道豆豆眼是什么,那我就去查一下标签,发现豆豆眼和自己认知中的UI,3D都匹配不上。
于是发现了touxiang,那就把豆豆眼当作touxing吧。
所以Flux也不知道豆豆眼是什么,但是只要提到touxiang这个触发词,它可能就会想起来自己见过豆豆眼
因为在UI设计中设计师往往需要绘制人物头像,很多头像都是3D卡通配合豆豆眼的效果,即使是Midjourney也比较直接生成豆豆眼。
所以训练豆豆眼模型对于UI设计还是有一定的帮助。
其次就是训练这个模型的素材比较好找,上篇也提到过在Figma的资源社区很容易找到这种有几十张而且干净简单的图片
目前模型已经上传到哩布:https://www.liblib.art/modelinfo/99fe1ebb185540238561dbd0926f050b?from=personal_page
Civitai:https://civitai.com/models/712067/flux-lora-3d-cartoon-lora
欢迎各位去下载测试,有不足之处也请多多指正
3
文章目录
先看Lora效果
改进的地方:打标签
触发词的作用:Flux的内心戏
为什么要训练豆豆眼
模型的下载地址:
AI教程交流群
扫描二维码加入群聊
与同行学习交流&资源共通
© CopyRight 2002-2024 ,CHINAZ.COM , Inc.All Rights Reserved.