2024年SD ComfyUI零基础入门教程:Lora工作流搭建

7/10/2024, 3:45:32 PM | 热度:36 | 阅读本文需 3 分钟

点赞

本教程是 2024 年最新的SD ComfyUI入门指南,专为初学者设计,详细介绍了如何搭建Lora工作流程。通过逐步指导,让您轻松掌握SD ComfyUI的高级功能,提升AI绘图的精准度和创造力。

Lora模型安装路径

模型存放位置在“ComfyUI_windows_portable\ComfyUI\models\loras”目录下,如果你是和 Web UI 共用的模型,那就放在“sd-webui\models\Lora”目录下。

如果不知道怎么与WebUI共享模型的小伙伴可以看我们的第二节有详细介绍。

使用Lora模型

在使用上比较简单,我们在默认的文生图工作流空白处“右键-新建节点-加载器-LoRA 加载器”;

image.png

连接也非常简单,我们左侧模型和clip链接大模型加载器的模型和clip,右侧的模型链接k采样器,clip链接文本编码器,虽然有两个CLIP 文本编码器,但是经过测试只练正向关键词的CLIP 文本编码器就可以了

image.png

我们选择像素风模型试一下效果,可以看到成功使用Lora模型改变了画风。

image.png

调整Lora模型权重

我们还可以像在WebUI上调整Lora模型的权重:

回到“LoRA 加载器”节点上。除了选择模型外还有两个可以设置参数的地方,模型强度、CLIP 强度。至于我们设置哪个参数能达到控制权重的效果,完全取决于模型的训练方式。所以我们在不知道受哪个参数影响的情况下,我们可以对两个参数都进行调节,而 Web UI 上是把两个参数整合在一起了。

image.png

使用多个Lora

使用多个Lora非常简单,只需要把多个Lora加载器串联起来

image.png

image.png

效率节点

虽然使用多个Lora串联非常简单,但是我们使用多个 Lora 模型 的时候就会让流程图更复杂、更乱,调节权重也比较麻烦,我们可以使用一个插件帮我们解决。

⑩efficiency-nodes-comfyui(效率节点): https://github.com/jags111/efficiency-nodes-comfyui.git

我们直接在管理器中安装完成后重启就可以使用。

image.png

我们直接把三个比较重要的高效节点加载出来

image.png

“LoRA 堆”节点

【输入模式】和控制权重有关,在这个节点我们可以通过调节一个参数就能控制权重了,如果我们把输入模式改为高级,Lora 权重就会分成模型强度、CLIP 强度;

【Lora 数量】用来调节我们使用几个 Lora 模型的,当前数值是 3,我们就有三个 Lora 可选;

剩下的权重和选择Lora模型就不用过多介绍了,大家肯定都知道。

效率加载器

我们需要操作的地方有:大模型选择、VAE 模型选择、Lora 模型(不使用选无,如果只使用一个就可以在这个节点选择,多个情况下就使用我们上面说的 Lora 堆节点)、正反提示词、宽高、批次;

K 采样器

基本上一样,没什么大的区别。

image.png

image.png

image.png

很明显的看出减少了很多的连接,非常的高效而且使用体验上更接近WebUI

image.png

这个插件可不止用来帮我们解决 Lora 模型的连接的问题,他能帮我们简化很多节点的连接,包括我们之前讲的多个 ControlNet 使用,也能减少连接步骤。

1

继续阅读本文相关话题

本文收录于专题

SD教程

共收录篇

查看本专题

文章目录

Lora模型安装路径

使用Lora模型

调整Lora模型权重

使用多个Lora

效率节点

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通