Layer Diffusion(现已更名为LayerDiffuse)是由斯坦福大学的研究人员Lvmin Zhang和Maneesh Agrawala共同提出的技术。该技术利用大规模预训练的潜在扩散模型(如Stable Diffusion)生成透明图像,帮助用户生成单个透明图像或多个透明图层。
官方给出的演示案例效果非常好,不仅可以生成一般物体,而且对于玻璃、发光这种透明/半透明的对象,以及头发丝这种精细的内容,生成的效果依旧完美。本文章封面图的卷发女生就是我直接用 LayerDiffusion 生成的,极大提升了出图效率,而且真正做到了“毫无抠图痕迹”,再也不用担心有白边了。
LayerDiffusion 目前只支持SD WebUI Forge,界面操作非常方便,生成速度也很快。
如果你没有 Forge 我建议你先安装 Forge
Forge github 下载地址:https://github.com/lllyasviel/stable-diffusion-webui-forge
如果你有了 Forge 或者已经安装完成,就可以安装 Layer Diffusion 插件
安装方法与 SD WebUI 一样,即进入 Extensions 版块,选择从 git 网站安装,然后重启 WebUI。或者进入 WebUI Forge 根目录,在 webui\extensions 文件夹中通过 git clone 命令安装。安装成功后,就能在界面上看到 LayerDiffusion 的插件面板了
Layerdiffusion 插件 Git 网址:https://github.com/layerdiffusion/sd-forge-layerdiffuse
安装完插件后还需要安装LayerDiffusion 处理模型,支持 SD15 和 SDXL
下载地址:https://huggingface.co/LayerDiffusion/layerdiffusion-v1/tree/main
下载完保存到这个位置
大模型作者建议是这两个
使用的两个模型是:
我们可以把这两个大模型下载完放到下图的安装目录中
我们将首先测试透明图像的生成。将扩展设置为以下内容:
然后我们按正常的步骤生图就可以了
【提示词】一个苹果,高品质
【负面提示】坏,丑陋
【步数】 20
【采样器】 DPM++ 2M SDE Karras,
【CFG 比例】 5
大小【 1024x1024】
【大模型型号】 juggernautXL_version6Rundiffusion,
点击生成就可以得到一张去背景和不去背景的苹果
测试模型realisticVisionV51_v51VAE
一个苹果,4K,高品质
否定提示:坏,丑陋
layerDiffuse 设置:
这将允许您在一个扩散过程中一起生成所有层。
非常重要:由于这将同时生成 3 张图像(前景、背景和混合图像),因此批处理大小必须除以 3。例如,您可以使用批处理大小 3 或 6 或 9 或 12 ...如果不使用批处理数除以 3,否则只会得到噪声。
【提示词】man walking, 4k, high quality
【负面 提示词】 bad, ugly
0
© CopyRight 2002-2024 ,CHINAZ.COM , Inc.All Rights Reserved.