ControlNet作者又一新作:Omost一个将 LLM 编码功能转化为图像合成的 AI 项目

6/20/2024, 12:44:19 PM | 热度:8 | 阅读本文需 1 分钟

点赞

Omost是一个创新项目,旨在通过将大型语言模型(LLM)的编码能力转化为高级图像合成技能来增强其图像生成能力。发音为“几乎”,Omost这个名字象征着两个关键思想:首先,使用Omost后,图像将“几乎”完美;其次,“O”代表“omni”(多模态),“most”表示从技术中挖掘最大潜力。

Omost 使 LLM 能够编写代码,在虚拟 Canvas 代理上编写可视内容。然后,可以使用图像生成器的特定实现来渲染此 Canvas 以创建实际图像。

开始使用

您可以在hugging face上在线体验:https://huggingface.co/spaces/lllyasviel/Omost

或者,您可以使用以下方法本地部署(需要 8GB Nvidia VRAM):

git clone https://github.com/lllyasviel/Omost.git
cd Omost
conda create -n omost python=3.10
conda activate omost
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
python gradio_app.py

(请注意,quant LLM 需要 - 某些 9XX 或 10XX 或 20XX GPU 在运行时可能会遇到问题。如果发生这种情况,只需使用我们的官方拥抱空间。bitsandbytes

示例

十九世纪一个衣衫褴褛的男人穿着一件破烂的夹克:

image.png

image.png

世界末日后最伟大的逃生,全人类的希望:

image.png

image.png

侏罗纪恐龙大战:

image.png

image.png

在哥特式王座上拥有无尽魔法的最高统治者,跪着亡灵军队:

image.png

image.png

一个有趣的卡通蝙蝠侠与小丑战斗:

image.png

image.png

0

继续阅读本文相关话题

本文收录于专题

SD教程

共收录篇

查看本专题

文章目录

开始使用

示例

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通