阿里妈妈最近开源了一款新的换脸工具: EcomID,声称结合了InstantID和PuLID优点,以获得更好的背景一致性、面部关键点控制、更真实的面部以及更高的相似度。旨在从单个ID参考图像生成定制的保ID图像,优势在于很强的语义一致性,同时受人脸关键点控制。
Github 项目地址: https://github.com/alimama-creative/SDXL_EcomID_ComfyUI
模型:https://hf-mirror.com/alimama-creative/SDXL-EcomID
模型的训练信息
该模型在 200 万张淘宝图像上进行训练,其中人脸比例大于 3%。图像分辨率大于800,且美学评分超过 5.5。
混合精度:fp16
学习率:1e-4
批量大小:2
图像大小:1024x1024
官方提供了一些对比示例,看起来确实是介于 InstantID 和 Pulid 之间的效果,但是比 InstantID 有了更好的提示词遵循效果
该插件还未收录到Manager中,需要通过 URL 地址来安装。
https://github.com/alimama-creative/SDXL_EcomID_ComfyUI
下载所需模型:
PuLID 模型:放在 ComfyUI/models/pulid 目录
下载地址: https://hf-mirror.com/huchenlei/ipadapter_pulid/resolve/main/ip-adapter_pulid_sdxl_fp16.safetensors?download=true
安装facexlib 依赖,启动时应该会自动安装
手动安装
cd ComfyUI\custom_nodes\PuLID_ComfyUI
cmd pip install -r requirements.txt
antelopev2 模型:解压到ComfyUI/models/insightface/models/antelopev2 目录下
下载地址: https://hf-mirror.com/MonsterMMORPG/tools/tree/main
InstantID的预训练模型:放到ComfyUI/models/instantid 目录(之前有安装过 InstantID 的可以忽略)
下载地址: https://hf-mirror.com/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true
EcomID Controlnet:放到ComfyUI/models/controlnet 目录
下载地址: https://hf-mirror.com/alimama-creative/SDXL-EcomID/resolve/main/diffusion_pytorch_model.safetensors?download=true
在 GitHub 主页上提供了示例工作流
我这里使用的大模型是 DreamShaper Turbo
模型的特点之一就是提示词遵循的比较好,比如你可以在提示词指定年龄
EcomID 换脸的效果还是非常不错的,可玩性更高一些,就是换脸完后皮肤质感比较油腻一点,一股子网红风格,看习惯了 InstantID 的写实效果还是有点不习惯的
2
文章目录
介绍
对比 InstantID 和 Pulid
ComfyUI 安装教程
工作流
实测效果
总结
AI教程交流群
扫描二维码加入群聊
与同行学习交流&资源共通
© CopyRight 2002-2024 ,CHINAZ.COM , Inc.All Rights Reserved.