ComfyUI进阶教程:运用In-Context LoRA精准控制角色一致性

4/23/2025, 9:59:22 AM | 热度:165 | 阅读本文需 6 分钟

点赞

在数字内容创作领域,尤其是在利用AI技术生成视频脚本或电影分镜图时,确保角色在不同画面、不同情境下的形象保持一致性,是非常重要的。依赖繁琐的手动调整或反复的图像提示(垫图),效率不高。本教程将介绍如何在ComfyUI平台中,结合特定的In-Context LoRA模型(如 film-storyboard.safetensors),通过精巧的提示词管理,高效实现跨场景的角色形象高度一致。

一、核心思路:特定LoRA与提示词

与之前讨论的通用“遮罩控制LoRA”方法不同,本次展示的工作流运用了一个专门为保持上下文一致性而训练的LoRA模型 (film-storyboard.safetensors)。这种LoRA的特点在于:

1.全局加载,上下文感知:它并非通过ComfyUI的Conditioning(Set Mask) 节点进行局部限制,而是在加载时直接作用于整个模型(MODEL)和文本编码器(CLIP)。

2.内在一致性机制:该LoRA的训练目标使其能够更好地理解并维持提示词中描述的核心角色特征(如发型、服饰、大致面貌),即使在场景描(背景、动作、光照)发生变化时,也能保持这些特征的稳定。

3.赖精细提示:其效果的发挥高度依赖于结构化的提示词输入。通过区分“全局设定”和“分镜细节”,引导LoRA在保持角色不变的同时,生成符合每个分镜要求的画面。

简单来说,这种方法更侧重于利用LoRA本身的特性和巧妙的提示词工程,而非ComfyUI的区域控制节点,来实现跨场景的角色一致性。

二、工作流结构详解 (参照附图)

教程所依据的工作流主要包含以下模块:

1.模型加载模块:

基础模型: 加载一个扩散模型 (Load Diffusion Model) 和相应的DualCLIPLoader。

核心LoRA: 加载film-storyboard.safetensors LoRA,(点击下载)。注意:如图所示,它直接串联在主模型路径上,意味着全局生效。这是实现角色一致性的关键组件。

增强LoRA(可选) : 可以额外加载其他LoRA,如Flux_Ultimator_lora.safetensors,(点击下载),或 AWPortraitCN (若需东方人物面孔),进一步提升画面细节或调整风格。这些LoRA同样是全局加载。

1.jpg

2.电影分镜场景提示词管理模块:

结构化输入: 工作流利用多个Text Input (Mixlab) 或类似节点,分别定义:

整体故事/角色基调: 如 [Movie Lens] In a story set in an elegant English classical manor,...,设定基础背景和风格。

分镜场景描述: 如 [SCENE-1] shows (Girl) wearing a beautiful classical dress standing in the manor garden...,[SCENE-2] transitions to (Girl) inside the manor's spacious library... 等,为每个分镜定义具体的动作、环境和光线。

2.jpg

另外也可以加入翻译节点,方便使用。

3.jpg

提示词组合: 使用CR Text Concatenate或类似节点将全局设定和当前分镜的描述组合成最终的提示词。这种结构化的方式有助于LoRA理解哪些是固定元素(角色),哪些是可变元素(场景)。例如:[电影镜头]在一个典雅的英式古典庄园的故事中,[SCENE-1]显示了<女孩>身穿华丽的古典裙,站在庄园的花园中,微风轻拂她的裙摆,她的目光中带着淡淡的思索和温柔,[SCENE-2]过渡到<女孩>坐在庄园宽敞的书房内,专注地翻阅一本古旧的书籍,眉头微皱,沉浸在文字的世界中,[SCENE-3]结束于<女孩>坐在庄园阳台的摇椅上,夕阳洒在她的脸上,她带着宁静满足的微笑凝视远方,被落日晚霞的柔光包围着。

传递给编码器: 组合后的完整提示词被送入 CLIP Text Encode (Prompt) 节点,生成用于引导 KSampler 的条件(Conditioning)。

图像生成主流程:

采样器设置: 使用 SamplerCustomAdvanced(或其他 KSampler 节点),接收来自 LoRA 加载器处理后的 MODEL、组合提示词生成的 positive 条件,以及负面提示(图中未明确展示负面提示构建,但实际应用中通常需要)。

参数配置: 设置采样步数 (steps)、CFG 值、采样器名称 (sampler_name)、调度器 (scheduler) 等。

解码与输出: Sampler输出 LATENT 图像,经VAE Decode解码后,通过Preview Image或SaveImage显示/保存最终的分镜图像。图中Preview Image显示了多张风格统一、人物一致但场景不同的图像,验证了该工作流的效果。

3-.jpg

三、典型应用场景

这种基于LoRA和提示词的角色一致性控制方法,非常适用于:

影视剧本分镜: 快速生成一系列情节连贯、人物统一的分镜图,辅助导演和团队进行视觉预览和规划。

动画概念设计: 在不同场景和动作中保持角色设计的统一性,提高早期设计的效率和准确性。

连环画/漫画创作: 生成具有连续性的画面格,确保主角形象在故事推进中不发生突变。

虚拟人/数字时尚: 展示同一虚拟形象在不同服装或环境下的效果,同时保持面部和身体特征的一致。

四、生成实例图

4.jpg

5.jpg

6.jpg

7.jpg

8.jpg

9.jpg

10.jpg

11.jpg

总结:

通过在 ComfyUI 中加载专为上下文一致性设计的LoRA模型(如film-storyboard.safetensors),并配合结构化的提示词输入策略,创作者可以有效地解决AI生成内容中角色形象跨场景不统一的问题。这种方法简化了流程,减少了后期手动修正的需要,显著提升了影视分镜、动画设计等领域的创作效率和作品质量。

欢迎尝试实践这一工作流(如需工作流文件,请点击此处下载),开启更高水平的影视分镜图像创作。


0

继续阅读本文相关话题

本文收录于专题

ComfyUI教程

共收录篇

查看本专题

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通