【controlNet】IP-Adapter 垫图方法

6/14/2024, 6:13:21 PM | 热度:142 | 阅读本文需 2 分钟

点赞

image.png

本教程将介绍如何在Stable Diffusion中使用控制网络(controlNet)的IP-Adapter功能。通过详细的步骤和创意提示,学习如何运用这个功能,实现对AI绘图中的特定部分进行精准修改和重绘,提升您的AI绘图技能。

1. 介绍

IP-Adapter是腾讯AI实验室发布的一个专门为预训练的文本到图像扩散模型(如Stable Diffusion)设计的适配器。其主要功能是通过图像提示来生成图像,能够复制参考图像的风格、构图或人物特征。

IP-Adapter的核心设计包括一个图像编码器和解耦的交叉注意力机制,这使得它能够将图像特征嵌入到预训练的文本到图像扩散模型中,从而实现图像提示的生成能力。此外,IP-Adapter还可以与其他控制器如ControlNet结合使用,以进一步增强其功能。

在实际应用中,用户可以通过Stable Diffusion的WebUI界面选择IP-Adapter,并上传参考图像来生成具有相似艺术风格和内容的作品。这种技术不仅可以用于风格迁移,还可以用于面部一致性处理等多种场景。

通俗的说IP-Adapter 就是垫图

2. 预处理器

image.png

IP-Adapter 有非常多的预处理器,我们该如何选择呢

主要分两类:

1. 将人物面部特征作为提示词 face_id 类型

2. 将参考图整体看做提示的 clip 类型

一般选择 auto 或者ip-adapter_clip_sd15

如果你是 sdxl 大模型就选对应 ip-adapter_clip_sdxl 的预处理器就可以啦

控制模型可以选择:ip-adapter_sd15

3. 使用方法

使用方法非常简单,大模型可以选择 awpainting 或者其他与你参考图画风类似的大模型

开启两个控制单元,第一个是参考单元

image.png

第二个是线稿单元

image.png

4. 点击生成

可以看到我们没有使用任何的提示词和 Lora,生成的图像就参考了我们上传的神奈川冲浪里的风格,包括颜色海浪

image.png

image.png

5. 其他示例

像这种效果可以使用在室内设计,或者产品设计中

参考图

image.png

线稿图

image.png

生成效果

image.png

我们在试试人像模型

效果还是不错的

image.png

6. 总结

通过本教程,你已经学会了如何在Stable Diffusion WebUI中使用ControlNet的IP-Adapter预处理器进行图像处理。这个工具为你提供了更多的控制和定制选项,让你能够生成更符合需求的图像。希望这个教程对你有所帮助,祝你在图像创作中取得更好的成果!

5

继续阅读本文相关话题

本文收录于专题

SD教程

共收录篇

查看本专题

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通