ComfyUI面部修复完全指南

7/19/2024, 11:14:31 AM | 热度:378 | 阅读本文需 6 分钟

点赞

让我们开始使用ComfyUI中的人脸详细修复器吧。人脸详细修复器节点乍一看可能很复杂,但不要担心,我们会一点一点地分解它。通过理解每个输入、输出和参数,你很快就能像专业人士一样使用这个强大的工具。

要在ComfyUI中找到人脸详细修复器,只需转到Add Node → Impact Pack → Simple → Face Detailer / Face Detailer (pipe)。

让我们从"Face Detailer"开始,然后深入"Face Detailer Pipe"。

  • FaceDetailer - 轻松检测人脸并改进。
  • FaceDetailer (pipe) - 轻松检测人脸并改进(用于多遍处理)。

image.png

人脸详细修复器的输入

我们先添加三个模型加载器,分别用来识别人脸,和替换人脸等,在下文我们会做详细的解析

image.png

选择模型、Clip、VAE,并输入正向提示词和负向提示词

你可能已经熟悉这些设置,这部分的链接非常简单,我们在上面搭建一个默认的文生图。然后把面部细化的输入和我们文生图的部分的输出一一对应链接即可。我这里为了得到一张坏的人脸,特地把高度和提示词都修改了。

image.png

然后我们在面部细化节点也做一些小修改

提示词写上完美人脸,并且把重绘幅度拉高

image.png

以上设置没问题后我们就可以点击加入队列测试一下效果

修复前后对比

image.png

模型解析

BBox检测器和Segm检测器(Sam模型)的区别

BBox模型专门使用边界框识别元素,而Segm/person模型使用掩码进行检测。

但是,需要注意的是,对于BBox检测器,我们专门使用bbox/face_yolov8m和bbox/hand_yolov8s模型。

相比之下,segm/person_yolov8m-seg模型仅用于Segm检测器。

以下内容仅适用于BBox检测器。因此,你会看到裁剪和增强后的图像预览显示为一个框。

image.png

随后,当我们结合BBox检测器和Segm检测器的功能,并集成Sam模型时,裁剪和增强后的图像预览将呈现出类似掩码的外观。

image.png

参数解析

指导大小、指导大小用途、最大尺寸和BBox裁剪因子

指导大小:BBox的指导大小将图像的人脸详细修复器聚焦在边界框人脸区域(如裁剪增强图像预览所示)。默认设置为256,这意味着如果边界框人脸区域小于 256 像素,系统会自动将其放大到最小 256 像素。

最大尺寸:最大尺寸建立了裁剪区域可以有多大的上限(如裁剪细化图像预览所示)。这个上限是为了防止区域变得过大,从而可能导致其他问题。默认的最大尺寸是 768 像素。

保持最佳范围:通过设置这些参数,我们将图像尺寸保持在 256 到 768 像素的范围内,这是SD 1.5 Checkpoint的理想尺寸。但是,如果你切换到SDXL Checkpoint模型,该模型以更大的图像性能更好而著称,将指导大小调整为512,最大尺寸调整为 1024 可能会有优势。值得尝试这种调整。

指导大小用途:在指导大小下方,有一个标记为"guide size for bbox"的选项。这允许你将重点转移到裁剪区域,该区域比边界框人脸区域大。

BBox裁剪因子:BBox裁剪因子目前设置为3。将裁剪因子减小到1. 0 意味着更小的裁剪区域,等于人脸区域。设置为 3 时,表示裁剪区域是人脸区域的 3 倍大。

调整裁剪因子的本质在于在为人脸详细修复器提供足够关注点和留出足够的上下文混合空间之间取得平衡。设置为 3 意味着裁剪区域包括稍多一些周围环境,这通常是有益的。但是,在决定合适的设置时,你还应考虑图像中人脸的大小。

image.png

羽化

羽化设置决定了图像边缘或修复区域与图像其余部分无缝混合的程度。我通常将其设置为5,这对大多数情况都很有效。但是,如果你注意到图像中的修复区域有特别明显的边缘,你可能会考虑增加这个值。由于我们在这个例子中没有观察到任何明显的边缘,所以没有必要立即调整它。

仅生成遮罩

激活噪声遮罩可以有效地指示模型将其噪声和去噪操作集中在遮罩区域。这将边界框转换为遮罩,精确指示应用噪声和随后细化的区域。当使用Segm检测器和Sam模型时,此功能尤为重要。

强制重绘

强制修复是一种专门用于增强图像特定区域额外细节的工具。我们通常关注图像中的人脸。有时,自动系统可能没有为这些人脸添加足够的细节,错误地认为它们已经有足够的细节。这是使用强制修复的完美场景。

本质上,当自动设置不足以增强图像某些区域的细节时,强制修复是理想的选择。

最小尺寸

在多人脸替换场景中特别有用,丢弃尺寸设置指示模型忽略小于指定尺寸(如 10 像素)的遮罩。在关注较大人脸的拥挤场景中,此功能非常宝贵。

image.png

BBox相关功能

BBox阈值:bbox阈值在微调人脸检测模型中至关重要。选择较低的数字意味着更宽松的检测过程。模型评估图像,为潜在的人脸分配置信度百分比。改变阈值会修改模型识别和替换人脸所需的置信度。

考虑一个背景中有面具,前景中有一个人的图像。模型可能会将面具误认为是人脸。在这种情况下,你可能会提高阈值,以确保它识别并关注清晰定义的人脸,而不是面具。相反,要在人群中替换多张人脸,人脸不太明显,降低bbox阈值有助于识别这些不太明显的人脸。

BBox扩张(膨胀):bbox扩张设置允许超出最初的裁剪区域(通常限于人脸)进行扩张。当你增加扩张时,人脸周围的更多区域将包含在替换过程中。但是,这些变化通常很细微,可能需要调整裁剪因子以获得更明显的结果。

BBox裁剪系数:在前面已经解析过了

image.png

Segm/Sam相关功能

Segm/Sam将传统的边界框细化为更精确的遮罩,提高人脸替换的准确性。当边界框与头发重叠且你不希望改变头发时,这种精度特别有用。通过使用Sam模型,你可以将替换仅集中在脸部。

Sam检测提示:Sam检测提示是一个关键设置。它指导模型在识别人脸时应该关注哪里。你有几个选项,包括中心、水平(一张或两张脸)、垂直(两张脸)以及矩形或菱形排列的四张脸。

Sam扩张:与边界框扩张类似,Sam扩张设置调整遮罩或焦点之外模型将替换的区域。增加此扩张会将遮罩区域重新扩大回框形。

Sam阈值:设置为93%的高值,Sam阈值的功能类似于其边界框对应项,但由于模型的精确性,需要更高的置信度。

Sam框扩展:此设置微调初始边界框,进一步定义面部区域。当初始边界框过于严格时,增加框扩展有利于模型捕获更多面部。

Sam遮罩提示阈值:与Sam检测提示协同工作,此设置确定模型响应提示的积极程度。默认设置为0.7。

image.png

有了这些信息,你应该对人脸详细修复器的工作原理有了更深入的了解。

4

继续阅读本文相关话题

本文收录于专题

ComfyUI教程

共收录篇

查看本专题

文章目录

人脸详细修复器的输入

修复前后对比

模型解析

参数解析

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通