Layer Diffusion生成免抠AI绘图素材!

5/31/2024, 5:33:25 PM | 热度:2 | 阅读本文需 3 分钟

点赞

介绍

Layer Diffusion(现已更名为LayerDiffuse)是由斯坦福大学的研究人员Lvmin Zhang和Maneesh Agrawala共同提出的技术。该技术利用大规模预训练的潜在扩散模型(如Stable Diffusion)生成透明图像,帮助用户生成单个透明图像或多个透明图层。

官方给出的演示案例效果非常好,不仅可以生成一般物体,而且对于玻璃、发光这种透明/半透明的对象,以及头发丝这种精细的内容,生成的效果依旧完美。本文章封面图的卷发女生就是我直接用 LayerDiffusion 生成的,极大提升了出图效率,而且真正做到了“毫无抠图痕迹”,再也不用担心有白边了。

image.png

安装 LayerDiffusion

LayerDiffusion 目前只支持SD WebUI Forge,界面操作非常方便,生成速度也很快。

如果你没有 Forge 我建议你先安装 Forge

Forge github 下载地址:https://github.com/lllyasviel/stable-diffusion-webui-forge

image.png

如果你有了 Forge 或者已经安装完成,就可以安装 Layer Diffusion 插件

安装方法与 SD WebUI 一样,即进入 Extensions 版块,选择从 git 网站安装,然后重启 WebUI。或者进入 WebUI Forge 根目录,在 webui\extensions 文件夹中通过 git clone 命令安装。安装成功后,就能在界面上看到 LayerDiffusion 的插件面板了

Layerdiffusion 插件 Git 网址:https://github.com/layerdiffusion/sd-forge-layerdiffuse

image.png

image.png

安装完插件后还需要安装LayerDiffusion 处理模型,支持 SD15 和 SDXL

下载地址:https://huggingface.co/LayerDiffusion/layerdiffusion-v1/tree/main

image.png

下载完保存到这个位置

image.png

使用方法

SDXL

大模型作者建议是这两个

使用的两个模型是:

  1. https://civitai.com/models/133005?modelVersionId=198530Juggernaut XL V6(请注意,使用的是 V6,而不是 v7 或 v8 或 V9)
  2. https://civitai.com/models/261336?modelVersionId=295158 anima_pencil-XL 1.0.0(请注意,使用的是 1.0.0,而不是 1.5.0)

我们可以把这两个大模型下载完放到下图的安装目录中

image.png

我们将首先测试透明图像的生成。将扩展设置为以下内容:

image.png

然后我们按正常的步骤生图就可以了

【提示词】一个苹果,高品质

【负面提示】坏,丑陋

【步数】 20

【采样器】 DPM++ 2M SDE Karras,

【CFG 比例】 5

大小【 1024x1024】

【大模型型号】 juggernautXL_version6Rundiffusion,

点击生成就可以得到一张去背景和不去背景的苹果

image.png

image.png

image.png

SD1.5

测试模型realisticVisionV51_v51VAE

一个苹果,4K,高品质

否定提示:坏,丑陋

layerDiffuse 设置:

image.png

image.png

同时生成前景和背景 (SD1.5)

这将允许您在一个扩散过程中一起生成所有层。

非常重要:由于这将同时生成 3 张图像(前景、背景和混合图像),因此批处理大小必须除以 3。例如,您可以使用批处理大小 3 或 6 或 9 或 12 ...如果不使用批处理数除以 3,否则只会得到噪声。

image.png

【提示词】man walking, 4k, high quality

【负面 提示词】 bad, ugly

image.png

image.png

0

继续阅读本文相关话题

本文收录于专题

SD教程

共收录篇

查看本专题

文章目录

介绍

安装 LayerDiffusion

使用方法

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通