用好VAE解决画面发灰
,改善出图色彩

5/31/2024, 3:29:13 PM | 热度:18 | 阅读本文需 4 分钟

点赞

1、VAE 简介

本文针对使用Stable Diffusion(SD)进行AI绘图时常见的画面发灰问题,提供了利用VAE(变分自编码器)的解决方案。通过详细的教学和实例,展示了如何调整VAE参数来改善出图色彩,提升AIGC作品的视觉效果。

变分自编码器(Variational Auto Encoder,简称VAE),是构成stable diffusion模型算法体系的关键组件之一,坐落在整个工作流程的尾端。其核心职责在于优化stable diffusion输出图像的视觉表现,使得色彩更为饱满鲜明,细节更加清晰锐利;此外,VAE还能够在某种程度上提升图像中如手脚、衣饰、面部等局部区域的生成精细度,形象地说,它扮演着一种图像“优化滤镜”的角色。

image.png

2、如何判断是否需要使用 VAE 模型

VAE并非独立运作的工具,而是需要与大型生成模型协同工作。不过,并非所有大型模型都存在集成VAE的需求,因为部分成熟稳定的模型已内置高效VAE机制,能够直接产出色彩自然的图像,此时额外叠加VAE可能会适得其反。相反,某些模型在集成过程中其VAE部分可能受损,导致生成图像色彩失真,这时便需要借助外部VAE模型来补强。甄别大模型是否需要外挂VAE模型,可通过以下两种途径:

① 根据图像生成效果判断
最直观的判断依据是观察模型生成图像的实际效果。若生成的图片色调偏灰、偏白,与参照图像相比有显著的质量落差,这通常意味着启用VAE模型能够有所助益。

② 看大模型的发布提示
大模型在发布时,若推荐或要求使用特定的VAE模型,通常会在官方说明或发布声明中明确指出。例如Aniflatmix模型在其介绍页面即特别强调需配合VAE模型使用。遵循此类官方提示,用户可在线搜寻并下载指定的VAE资源,以确保模型性能的最佳发挥。

image.png

3、VAE 模型下载

C 站可用 VAE 模型:https://civitai.com/models

VAE 模型和其他 AI 绘画模型一样,资源主要集中在 Civitai 和 Huggingface 两个平台上。我们可以在 Civitai 上通过筛选查看所有可用 VAE 资源,或者直接在互联网上搜索你需要的 VAE 的名称寻找资源。

image.png

这里也为大家推荐几款常用的 VAE 模型,可以解决大部分的图像色彩发灰问题。

① 通用 VAE

Stability AI 官方推出过 2 款 VAE ,vae-ft-ema-560000-ema-pruned 和 vae-ft-mse-840000-ema-pruned,它们适用于各种风格的大模型,能有效提升画面色彩的鲜艳程度。从使用经验来说,ema-560000 会明显地修改画面的细节,mse-840000 则没有那么明显。

下载地址:稳定性AI/SD-VAE-FT-MSE-原始 ·拥抱脸 (huggingface.co)

image.png

② 风格化 VAE

ClearVAE:ClearVAE - v2.3 | Stable Diffusion VAE | Civitai (文末有资源包)
kl-f8-anime2:https://civitai.com/models/23906 (文末有资源包)
Anything:https://civitai.com/models/110630/anything-model-vae-v40 (文末有资源包)

有些 VAE 则只适合特定风格的大模型,大家在下载的时候可以仔细阅读 VAE 制作者的使用说明。比如 ClearVAE、kl-f8-anime2、anything 等,都是适合动漫风大模型的 VAE。

不同的 VAE 下,图像生成效果会略有差异,大家可以根据实际情况对比选择:

image.png

4)VAE 的使用与管理

VAE 模型下载后,需要放进根目录的 models\VAE 文件夹内;如果要卸载某个VAE,也是在VAE 文件夹中删除对应的文件就可以了。

image.png

在 WebUI 中,选择好大模型后,在“外挂 VAE ” 的下拉栏中选择对应的模型就可以了;不需要 VAE 的话,默认“自动”或者“无”。

image.png

如果你使用的是 @秋葉aaaki 大佬的整合包,也可以进入启动器的“模型管理”界面,选择“VAE模型”版块,立马有多个 VAE 模型可以直接下载,下载完成后文件会自动放入根目录。

image.png

以上就是本期为大家分享的 Stable Diffusion WebUI 中「外挂 VAE」的相关内容,喜欢本期推荐的话记得点赞收藏支持一波,之后会继续为大家推荐更多实用的 AI 绘画干货。

1

继续阅读本文相关话题

本文收录于专题

SD教程

共收录篇

查看本专题

文章目录

1、VAE 简介

2、如何判断是否需要使用 VAE 模型

3、VAE 模型下载

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通