【ComfyUI】既可以打标又可以训练Flux Lora 的工作流

9/19/2024, 10:02:15 AM | 热度:412 | 阅读本文需 2 分钟

点赞

今天分享给大家的是KJ大佬制作的ComfyUI 训练Flux Lora的工作流,整个的工作流虽然看起来比较复杂,但是需要我们调整的地方还是比较少的,我们只需要设置前两部的参数就可以了

image.png

这边介绍一下如何是使用该工作流训练Flux Lora

第一步:打标

打标大家可以用我上次分享的ComfyUI打标工作流

具体用法大家可以看我这篇教程哦:https://aisc.chinaz.com/jiaocheng/10368.html

第二步:调整参数

image.png

上图这个节点的参数我们都可以鼠标悬停以获提示,大家按需开启即可

这边为了方便我还是给大家翻译一下和个人的一些理解(不一定正确)

  • color_aug:可以增强或者矫正训练集的颜色

  • flip_aug:可以水平翻转你的训练集,如果你训练集比较少,可以翻转一下整加训练集的差异性

  • shuffle caption:打乱标签,由于Flux是用自然语言打标,所以这个对Flux基本没啥用,在SD15 和SDXL可能有用

  • caption dropout rate:我个人理解是剔除一些重复或者冲突的标签

  • alpha mask:采用alpha通道作为遮罩进行训练

  • reset on queue:强制刷新所有内容以清空队列

  • caption extension:指定你打完标签后的文档后缀,一般都是.txt不用改

image.png

上图节点的参数都比较熟悉,桶分辨率就是你训练集图片尺寸在这个范围内就无所谓,如果超过了会进行裁切,训练尺寸根据自己显存决定,显存小就用 512 或者 768 即可

image.png

上图这个节点应该就不用过多介绍啦,大家加载正确的模型就行

image.png

上图节点最下面我们需要写个提示词,这个提示词是测试用的,每过几轮保存的模型就会用这个提示词测试效果

image.png

上图这个节点作用就是生成测试图,类似采样器可以设置步数,seed,尺寸等等

image.png

后面这一坨都是显示训练效果的,可以看到Loss值和例图,还挺方便的

第三步:训练

以上参数设置无误就可以加入队列开始训练了,训练的过程也可以在控制台查看

image.png

总结

这个工作流训练还是非常方便的,而且也比较容易上手,你也可以把打标工作流和训练工作流结合,做个一键打标加训练的工作流。我这里也是把打标工作流和训练工作流放一起了

大家可以通过禁用组的开关进行控制,当你要运行打标时就把打标组开启,其他组关闭即可。

大家打标的时候选择自己喜欢的反推模型就可以,我这里用的是JoyCaption,大家不一定要和我一样。

image.png

由于我也是训练模型的新手,所以有些参数可能理解的不对,大家也可以加入交流群互相讨论指正。

工作流下载:https://www.liblib.art/modelinfo/a3c1768c7bf847e0a4890713c4e997d8?from=personal_page

1

继续阅读本文相关话题

本文收录于专题

ComfyUI教程

共收录篇

查看本专题

文章目录

第一步:打标

第二步:调整参数

第三步:训练

总结

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通