最新换脸插件EcomID:结合InstantID和PuLID优点的XL最强换脸术?

10/29/2024, 4:05:21 PM | 热度:180 | 阅读本文需 3 分钟

点赞

介绍

阿里妈妈最近开源了一款新的换脸工具: EcomID,声称结合了InstantID和PuLID优点,以获得更好的背景一致性、面部关键点控制、更真实的面部以及更高的相似度。旨在从单个ID参考图像生成定制的保ID图像,优势在于很强的语义一致性,同时受人脸关键点控制。

Github 项目地址: https://github.com/alimama-creative/SDXL_EcomID_ComfyUI

模型:https://hf-mirror.com/alimama-creative/SDXL-EcomID

模型的训练信息

该模型在 200 万张淘宝图像上进行训练,其中人脸比例大于 3%。图像分辨率大于800,且美学评分超过 5.5。

混合精度:fp16

学习率:1e-4

批量大小:2

图像大小:1024x1024

对比 InstantID 和 Pulid

官方提供了一些对比示例,看起来确实是介于 InstantID 和 Pulid 之间的效果,但是比 InstantID 有了更好的提示词遵循效果

image.png

image.png

ComfyUI 安装教程

该插件还未收录到Manager中,需要通过 URL 地址来安装。

https://github.com/alimama-creative/SDXL_EcomID_ComfyUI

image.png

下载所需模型:

PuLID 模型:放在 ComfyUI/models/pulid 目录

下载地址: https://hf-mirror.com/huchenlei/ipadapter_pulid/resolve/main/ip-adapter_pulid_sdxl_fp16.safetensors?download=true

安装facexlib 依赖,启动时应该会自动安装

手动安装

  1. cd ComfyUI\custom_nodes\PuLID_ComfyUI

  2. cmd pip install -r requirements.txt

antelopev2 模型:解压到ComfyUI/models/insightface/models/antelopev2 目录下

下载地址: https://hf-mirror.com/MonsterMMORPG/tools/tree/main

image.png

InstantID的预训练模型:放到ComfyUI/models/instantid 目录(之前有安装过 InstantID 的可以忽略)

下载地址: https://hf-mirror.com/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true

EcomID Controlnet:放到ComfyUI/models/controlnet 目录

下载地址: https://hf-mirror.com/alimama-creative/SDXL-EcomID/resolve/main/diffusion_pytorch_model.safetensors?download=true

工作流

在 GitHub 主页上提供了示例工作流

image.png

实测效果

我这里使用的大模型是 DreamShaper Turbo

image.png

模型的特点之一就是提示词遵循的比较好,比如你可以在提示词指定年龄

image.png

image.png

image.png

总结

EcomID 换脸的效果还是非常不错的,可玩性更高一些,就是换脸完后皮肤质感比较油腻一点,一股子网红风格,看习惯了 InstantID 的写实效果还是有点不习惯的

2

继续阅读本文相关话题

本文收录于专题

ComfyUI教程

共收录篇

查看本专题

文章目录

介绍

对比 InstantID 和 Pulid

ComfyUI 安装教程

工作流

实测效果

总结

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通