Flux Lora训练日记:记录第一次训练Flux Lora的过程

8/30/2024, 12:44:18 PM | 热度:749 | 阅读本文需 2 分钟

点赞

前排提示:非16G以上显存请勿尝试

之前没有什么训练Lora的经验,只在SD15上训练过两个简单的模型,所以我在训练Lora上也算是小白。这段时间看到大家训练了那么多Flux精美的模型,自己也想尝试一下

刚开始是想用青龙的脚本训练,但是虚拟环境一直安装失败,就放弃了

然后使用秋叶的Lora训练整合包,1.9的版本更新了可以训练Flux的Lora

青龙训练脚本:https://pan.quark.cn/s/9e6485b60501

秋叶整合包下载地址:https://github.com/Akegarasu/lora-scripts/tre/main

更新训练包

image.png

更新后的页面

image.png

收集训练素材

第一次训练也不知道训练什么,就在即时设计的资源社区随便找了个3D头像的素材

image.png

然后这些素材都放在:lora-scripts-v1.8.5\train\3davatar\1_3davatar 这个文件夹内,和SD1.5的差不多的

打标签

然后我用wd14标签器自动反推提示词

image.png

反推后的提示词在标签编辑器处理了一些提示词,去除了一些特点明显的词

其实处理标签很重要,我第一次训练随便处理的,导致后面的效果不太好

大家可以查看这篇文章:https://civitai.com/articles/6982

训练参数设置

根据网上教程修改了一下参数

1、加载各种模型路径

image.png

2、修改分辨率,加载训练数据集

因为我的数据集都是1024*1024所以我就改成1024分辨率

image.png

3、训练轮数

因为我有19张图片,而且我每张图片学习一次,所以后面总训练轮数是380

image.png

其他参数的我都默认设置了

开始训练

训练时长大概1个小时,占用显存23g,不知道为啥我用fp8的模型训练也占这么多

训练效果

权重1,提示词:solo, 1boy, male focus, simple background, white background, smile, looking at viewer

image.png

权重0.75可以出更多的动作和神态,衣服也比较随机

image.png

总结

第一次尝试还是比较失败的,虽然有效果,个人认为在打标签时有很大问题,只能生成男性3D头像,而且不支持修改发型等

如果有大佬看到可以加入我们的交流群互相学习探讨一下

1

继续阅读本文相关话题

本文收录于专题

ComfyUI教程

共收录篇

查看本专题

文章目录

前排提示:非16G以上显存请勿尝试

更新训练包

收集训练素材

打标签

训练参数设置

开始训练

训练效果

总结

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通