ComfyUI最快开源视频模型 LTX Video 效果好,速度快

12/13/2024, 10:55:49 AM | 热度:143 | 阅读本文需 1 分钟

点赞

原文在 ComfyUI 的博客:https://blog.comfy.org/ltxv-day-1-comfyui/

我这里进行了简单翻译

LTXV 是什么

LTXV 只是一个基于 20 亿个参数的基于 DiT 的视频生成模型,能够实时生成高质量的视频。它以 768x512 的分辨率生成 24 FPS 视频,速度比观看速度快。

LTXV 的特点

  • 快速生成视频

  • 视频质量较高

  • ComfyUI 原生支持

  • 支持图生视频

LTXV 安装

  1. 更新到最新版本的 ComfyUI

  2. ltx-video-2b-v0.9.safetensors 下载到models/checkpoints文件夹中

  3. 确保 t5xxl_fp16 在您的models/clip文件夹中,也可以用 fp8 版本的

  4. 从官方提供的 示例工作流 页面获取工作流

插件安装:

在管理器搜索 LTX,安装作者为 logtd 的插件,安装完重启,然后把官方的示例工作流拖入到 comfyui 即可

image.png

文生视频工作流:

image.png

图生视频工作流:

image.png

提高视频质量

虽然出图比较快,但是视频还是有点糊的,不过在我们刚刚下载的插件中有个提示视频质量的工作流

具体位置在:ComfyUI\custom_nodes\ComfyUI-LTXTricks\example_workflows

image.png

我们拖入到comfyui直接运行,可以看到优化后的视频明显清晰不少,而且动作也会更流程,

image.png

核心节点是一下三个,原理是用Attention Override可以帮助LTX跳过一些层从而获得更好的质量,这个技术在Flux中也有,感兴趣的小伙伴可以去了解一下

image.png

总结

生成速度还是非常快的,在 4090 上采样器 13 秒就能生成一个完整的视频帧,合并为视频大概 15s,通过STG优化后生成的视频质量还是非常不错的,不过有一点需要注意的是,LTX对提示词的要求非常高,最好让GPT帮你润色一下你的提示词


2

继续阅读本文相关话题

本文收录于专题

ComfyUI教程

共收录篇

查看本专题

文章目录

LTXV 是什么

LTXV 的特点

LTXV 安装

提高视频质量

总结

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通