ControlNet 新模型 Anyline & Mistoline

5/31/2024, 2:05:07 PM | 热度:56 | 阅读本文需 3 分钟

点赞

一、Anyline

探索ControlNet新推出的Anyline和Mistoline模型,为AI绘图带来前所未有的细节和动态效果。本文解析了这两大模型的特点和应用场景。

Anyline 是一种 ControlNet 线预处理器,可从大多数图像中准确提取对象边缘、图像细节和文本内容。用户可以输入任何类型的图像,以快速获得具有清晰边缘、足够细节保留和高保真文本的线条图,然后将其用作 Stable Diffusion 中条件生成的输入。

image.png

Anyline 使用 1280px 的处理分辨率,因此在此分辨率下进行比较。与其他常用的线条预处理器相比,Anyline在轮廓精度、对象细节、材质纹理和字体识别(尤其是在大型场景中)方面具有显著优势。在大多数场景中,它在减少噪点方面也表现更好,从而实现更清晰的图像处理,生成过程中的不准确更少。

image.png

Anyline 目前已经可以在 SD WebUI 和 ComfyUI 中使用了。SD WebUI 只需要将 controlnet 更新到最新版本,就能在预处理器列表中看到 softedge_anyline 选项了。初次使用会自动从网上下载一个 MTEED.pth 文件到 extensions\sd-webui-controlnet\annotator\downloads\TEED 文件夹中,如果自动下载失败可以手动安装(文末云盘有模型资源)

image.png

二、MistoLine

MistoLine:一款多功能且强大的 SDXL-ControlNet 模型,用于适应性线条艺术调节。

MistoLine 是一种 SDXL-ControlNet 型号,可以适应任何类型的线条艺术输入,表现出高精度和出色的稳定性。它可以根据用户提供的各种类型的线条艺术生成高质量的图像(短边大于 1024px),包括手绘草图、不同的 ControlNet 线预处理器和模型生成的轮廓。MistoLine 无需为不同的线条预处理器选择不同的 ControlNet 型号,因为它在各种线条艺术条件下表现出强大的泛化能力。

MistoLine 生成的图像在稳定性、细节还原上比现有的线条类 CN 模型表现都好。如果和 Anyline 配合使用,加上 SDXL 模型,可以很轻松地生成 1024*1024px 以上的高清图像,用来处理场景复杂、层次丰富、纹理丰富的图像效果非常好,因此目前最推荐的就是 Anyline 和 MistoLine 的搭配使用。

从 https://huggingface.co/TheMistoAI/MistoLine/tree/main 下载模型并将模型重命名为 :mistoLine_softedge_sdxl_fp16.safetensors

然后安装到 extensions\sd-webui-controlnet\models 或者 comfyui\models\controlnet 中,然后重启应用,再按正常流程选用模型即可。使用时需要注意选择 SDXL 的 checkpoints 大模型。

image.png

局限性

正如您在生成结果中看到的那样,任何行预处理器都可能捕获一些不需要的细节,例如错误捕获的头发细节。

image.png

image.png

为了解决这个问题,建议尽早结束控制网指导。以下是将结束控制步长设置为 0.5 的结果:

image.png

降低控制网权重对抚平头发细节没有多大帮助。此外,它还可能生成不需要的形状。

image.png

将控制模式设置为“偏向提示词”更重要的是删除不需要的头发细节,但它也可能生成不需要的形状。

image.png

0

继续阅读本文相关话题

本文收录于专题

SD教程

共收录篇

查看本专题

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通