SD1.5和SDXL不懂如何选择?一文搞懂Stable Diffusion的各种模型及模型推荐

6/4/2024, 4:59:11 PM | 热度:2 | 阅读本文需 4 分钟

点赞

一、SD 基础模型介绍

1、SD 1.x:这是Stable Diffusion的早期版本,主要用于图像生成任务。这里的1.x表示 1 系列的主要版本,x是一个变量,表示具体的子版本。

2、SD 2.x:这是SD 1.x的后续版本,对模型进行了优化和改进,提高了图像生成质量和速度。同样,2.x表示 2 系列的主要版本,x是一个变量,表示具体的子版本。

3、SD 1.5:这是一个在SD 1.x基础上进行优化的版本,它在文本到图像生成任务上表现尤为出色,能够生成更符合用户需求的图像。

4、SDXL 1.0:这是一个在SD 1. 5 基础上进一步优化的版本,采用了一种名为“对抗性扩散蒸馏”(Adversarial Diffusion Distillation,简称ADD)的新技术,使得模型能够在保持高采样保真度的同时实现实时图像生成。

image.png

5、SDXL Turbo:它是在SDXL 1. 0 的基础上进行迭代的版本。特点是生成图像的效率非常高,几乎可以做到实时响应。在用户输入完文本提示后,图像就能立即显示。SDXL Turbo不仅速度快,生成的图像质量也非常高,能够精准还原提示文本的描述。得益于其采用的对抗性扩散蒸馏技术,该技术可以在高质量图像下以1- 4 个步骤对大规模基础图像扩散模型进行采样,同时避免了其他蒸馏方法中常见的失真或模糊问题。存在的局限性:目前它只能生成固定像素的图片,对于一些细节可能表现的不够好,如人的手指、面部表情等,无法完美的展现照片级真实感。目前SDXL Turbo只能用于学术研究,还未开放商业权限。

二、以SD 基础模型进行训练和优化的其他模型

以SD1.5 基础模型进行训练和优化的常用模型介绍:

1、majicMIX realistic:专门用于生成唯美的人像图片,目前已更新至第七版。融合了多种模型,能够生成具有吸引力的面部特征,并能有效地处理暗部细节。

image.png

2、ChilloutMix:专为生成逼真的亚洲人物形象而设计。与majicMIX realistic类似,ChilloutMix在生成高质量人物图像方面表现出色。

image.png

3、AnythingElse V4:主要生成高质量的二次元和动漫图像。虽然它的风格相对较为单一,但在动漫领域表现出色。

image.png

4、GuoFeng3:主要用于生成具有中国华丽古风风格的图像。它在古风游戏角色和场景生成方面具有优势。

image.png

5、RongHua:这是另一个国风系列模型,专注于生成具有中国特色的服装、道具和化妆元素。它在国风创作领域具有较高的评价。

image.png

6、Dreamlike-photoreal-2.0:用于生成逼真的场景和物品。它在生成高质量的现实世界图像方面具有优势。

image.png

在模型选择时,我们并不直接选择SD 1.x、SD 2.x或是SD 1. 5 这样的基础模型进行画图,而是选择majicMIX realistic、ChilloutMix等特定优化模型,主要基于以下原因:

1、针对性优化:像majicMIX realistic、ChilloutMix这样的模型是在基础模型的基础上进行了针对性的优化和调整,以满足特定领域或风格的需求。这使得这些模型在生成特定类型图像时的性能更优,例如majicMIX realistic在生成逼真的亚洲人物形象方面,ChilloutMix在生成高质量的二次元和动漫图像方面。

2、更高的专业性和质量:这些特定优化的模型往往在某些方面具有更高的专业性和图像质量。例如,majicMIX realistic在人物形象的逼真度和场景泛化能力上表现出色,而ChilloutMix则在动漫领域的图像生成质量上具有优势。

3、更好的用户体验:这些优化模型通常在易用性和用户体验上进行了改进,使得用户能够更方便地生成所需的图像。例如,一些模型可能会提供更多的控制参数,让用户能够更精细地调整生成结果。

4、更广泛的应用场景:这些特定优化模型往往在某些应用场景中具有更广泛的适用性。例如,GuoFeng3 和RongHua等国风系列模型在生成中国古风场景和元素时具有优势,而Dreamlike-photoreal-2. 0 则在生成逼真的场景和物品方面表现出色。

总之,选择majicMIX realistic、ChilloutMix等优化模型而不是基础模型的主要原因是为了获得更好的性能、更高的专业性、更广泛的应用场景以及更优的用户体验。这些优化模型在特定领域和风格上的表现往往优于基础模型,从而使得用户能够更高效地生成满足需求的图像。

0

继续阅读本文相关话题

本文收录于专题

SD教程

共收录篇

查看本专题

文章目录

一、SD 基础模型介绍

二、以SD 基础模型进行训练和优化的其他模型

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通