In-Context LoRA 解决一致性问题?是神作还是假象?

11/18/2024, 3:43:33 PM | 热度:105 | 阅读本文需 5 分钟

点赞

前些日子,阿里重磅开源基于FLUX的In-Context LoRA,可一次生成多张风格和人物一致的图片集。一共 10 个模型,每个模型有不同的用法,我这里也简单介绍一下:

  •  情侣头像设计

  • 电影故事板

  • 字体设计

  • 家居装饰

  • 肖像插图

  • 人像摄影

  • PPT模板

  • 沙尘暴视觉效果

  • Sparklers 视觉效果

  • logo 模拟

下面是一组故事板的官方示例:

可以比较明显的看到主角 Leo 的人物一致性和提示词遵循的都很不错

image.png

项目主页:https://ali-vilab.github.io/In-Context-LoRA-Page

论文:https://arxiv.org/pdf/2410.23775

代码:https://github.com/ali-vilab/In-Context-LoRA

安装使用

模型下载地址:

https://huggingface.co/ali-vilab/In-Context-LoRA/tree/main

image.png

一共 10 个lora模型,分别针对不同场景,具体使用见下方案例库。

工作流介绍

工作流就是通用的Flux文生图工作流,再加上一个lora即可。

image.png

效果实测

有些人认为这个模型没什么用,因为本身 Flux 就有角色一致性的能力,我之前也做过一个角色三视图一致性的工作流,仅依靠提示词也能有很好的一致性效果,大家可以回顾一下:

https://aisc.chinaz.com/jiaocheng/10546.html

我这里测试了几个我比较感兴趣的模型,来看看这款 Lora 到底是神作还是假象。

  • 故事板(右边是使用 Lora 后的效果)

提示词:In a tender exploration of first love, [IMAGE1] we see Jamie nervously arranging flowers in a park, glancing around as if waiting for someone special, [IMAGE2] transitioning to the moment arrives, their eyes locking in a shy smile that speaks volumes, [IMAGE3] finally showing them seated on a bench, sharing stories and laughter, surrounded by blooming blossoms, embodying the magic of young romance.

这里可以明显的看出即使不用 Lora,在同一段提示词下 flux 也能有不错的一致性,所以一致性的效果并不全是 Lora 的作用,Lora 在 flux 的基础上进一步提升了一致性画面,并且带有电影感的滤镜,所以看起来效果更好

image.png

  • 产品 Mockup(右边是使用 Lora 后的效果)

这个 lora 可以把 logo 迁移到产品上,还是比较有创意的

提示词:The two-panel image showcases the joyful identity of a produce brand, with the left panel showing a smiling pineapple graphic and the brand name “Fresh Tropic” in a fun, casual font on a light aqua background; [LEFT] while the right panel translates the design onto a reusable shopping tote with the pineapple logo in black, held by a person in a market setting, emphasizing the brand’s approachable and eco-friendly vibe.

从这组测试可以看出,这个 lora 基本没用,实际上是提示词在发挥作用

image.png

后来我又测试了一组,还是一样。所以这个 Lora 就没必要下载了

image.png

接下来让我们一起来看看这 10 种lora的效果表现吧

  • 字体设计(右边是使用 Lora 后的效果)

提示词:The four-panel image showcases a playful bubble font in a vibrant pop-art style. [TOP-LEFT] displays "Pop Candy" in bright pink with a polka dot background; [TOP-RIGHT] shows "Sweet Treat" in purple, surrounded by candy illustrations; [BOTTOM-LEFT] has "Yum!" in a mix of bright colors; [BOTTOM-RIGHT] shows "Delicious" against a striped background, perfect for fun, kid-friendly products.

从这组提示词也可以看出,在不加 Lora 的情况下 flux 也是可以生成这种艺术字体的,不过加了 Lora 可能会更好看一点

image.png

总结

通过以上三种的 Lora 测试,我们也大概有个结论了,这些 Lora 主要是起到一个锦上添花的作用,更多的还是依靠 Flux 自身强大的性能。不过这些提示词的写法或许可以给我们有很多启发,我们可以学习这些写法。大家也就不用都去把这些 Lora 下载一遍了


0

继续阅读本文相关话题

本文收录于专题

ComfyUI教程

共收录篇

查看本专题

文章目录

安装使用

工作流介绍

效果实测

总结

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通