T2I-Adapter 是一种轻量级模型，旨在为预训练的 T2I 模型（特别是稳定扩散 (SD) 模型）提供额外指导。它从条件图（例如草图或彩色图）中提取指导特征，并将这些特征注入 SD 模型以指导其图像生成过程。T2I-Adapter 不会微调或修改预训练模型；相反，它会学习将 SD 模型的内部知识与外部控制信号对齐。

下面是T2I-Adapter算法发挥作用的示意图：

T2I-Adapter算法的详细结构：

T2I 适配器的优点：

1.  它非常小，因为其基本版本有 7700 万个参数。

2.  它很灵活，因为我们可以训练不同的条件模型并且它们可以同时使用。

3.  无需对整个稳定扩散模型进行微调，这在计算上非常昂贵，并且对于大多数用户来说不可行。

（1）t2ia_color_grid预处理效果

这一般是用得最多的效果，因为可以控制出图颜色

t2ia_color_grid预处理器将输入参考图像缩小到原始大小的1/64，然后再将其扩大至回原始尺寸。最终效果是呈现出网格状的局部平均颜色块。

t2ia_color_grid预处理效果t2ia_color_grid完整的效果：

（2）t2ia_sketch_pidi预处理效果

t2ia_sketch_pidi预处理效果t2ia_sketch_pidi的完整效果：

（3）t2ia_style_clipvision预处理效果

t2ia_style_clipvision预处理效果t2ia_style_clipvision的完整效果：

总的来说，T2I适配器是一个简单的模型，可以与稳定的扩散模型一起使用，提供额外的条件，可以帮助产生更好的图像。我们将条件图像作为这些模型的输入，并在unet的编码器模型中添加输出特征。

最常使用的是色块固定