又双叒有新的反推模型了:使用Micrisoft Phi 3. 5 文字及视觉模型进行本地推理

9/18/2024, 2:29:55 PM | 热度:57 | 阅读本文需 2 分钟

点赞

葫芦娃大佬的 LayerStyle 插件,新增PhiPrompt 节点,使用Micrisoft Phi 3. 5 文字及视觉模型进行本地推理。可以用于生成提示词,加工提示词或者反推图片的提示词。运行这个模型需要至少16GB的显存。

新增UserPromptGeneratorTxtImg 以及 UserPromptGeneratorReplaceWord 节点, 用于生成文生图提示词和替换提示词内容。

现在反推模型选择很多,效果也都不差的,大家选择一款自己喜欢的就可以

插件地址:https://github.com/chflame163/ComfyUI_LayerStyle

安装模型

百度网盘下载:https://pan.baidu.com/s/1BdTLdaeGC3trh1U3V-6XTA?pwd=29dh

HuggingFace下载:  huggingface.co/microsoft/Phi-3.5-vision-instruct 和 huggingface.co/microsoft/Phi-3.5-mini-instruct 下载全部模型文件并放到 ComfyUI\models\LLM 文件夹。 

下图是演示效果

image.png

节点选项说明:

image.png

  • image: 可选输入。输入的图片将作为Phi-3.5-vision-instruct的输入。

  • model: 可选择加载的Phi-3.5-vision-instruct模型,或者Phi-3.5-mini-instruct模型。默认值auto将根据是否有图片输入自动加载对应模型。

  • device: 模型加载设备。支持cpu和cuda。

  • dtype: 模型加载精度,有fp16、bf16 和fp32 三个选项。

  • cache_model: 是否缓存模型。

  • system_prompt: Phi-3.5-mini-instruct的系统提示词。

  • user_prompt: LLM模型的用户提示词。

  • do_sample: LLM的do_sample参数,默认为True。

  • temperature: LLM的temperature参数,默认为0.5。

  • max_new_tokens: LLM的max_new_tokens参数,默认为512。


0

继续阅读本文相关话题

本文收录于专题

ComfyUI教程

共收录篇

查看本专题

文章目录

安装模型

节点选项说明:

AI教程交流群

扫描二维码加入群聊

与同行学习交流&资源共通