https://github.com/tencent-ailab/IP-Adapter.git
如何更精准地控制SD生成图片的结果，不需要复杂的描述工程，不需要重新微调base model，核心思想就是一图胜千言，在text embedding cross attention之外，再加一个image embedding cross attention，称之为decoupled cross-attention，可适用于同一个BaseModel下的所有微调模型。可用于T2I/I2I/Inpainting，也可结合controlnet一起使用，除了能控制风格外，还有IP-Adapter-FaceID（PLUS/SDXL）系列可用于控制人物身份（换脸），可在WebUI或者ComfyUI中使用。效果如下所示
ControlNet主要利用图像结构上的先验信息如边缘/分割/深度/线条等来控制图片的生成（虽然也有Reference Only或者Shuffle等控制图片语义或者风格的方法，但控制粒度和效果仍有提升空间），T2I-Adapter比ControlNet更加轻量，但是效果一般不如后者，其中的Style Adapter将CLIP Image Encoder Feature与CLIP Text Encoder Feature进行结合，然后送入Cross Attention。Uni-ControlNet也有类似操作，将Condition Embedding和Text Embedding进行Concat，SeeCoder则是直接将CLIP Text Encoder替换为一个新的Image Encoder，以此来进行图像修改。上述直接将图像特征和文本特征融合之后直接插进一个固定的Cross Attention层的操作似乎没能捕捉图片的精细语义，因此效果有限。
IP-Adapter的结构如下：
先看Prompt Embedding如何被插入Unet中，Unet中的latent噪声特征计为Query，CLIP Text Embedding分别经过两个全连接层得到Key，Value，则Cross Attention表达为：
既然将图片特征与文本特征concat效果不好，那就干脆再设计一个Cross Attention专门用于插入图像特征，意即CLIP Image Embedding分别经过两个全连接层得到Key，Value，同样以latent噪声特征作为Query，形成一个并行的Cross Attention：
两个注意力共用一个Query，为加速收敛，新增的两个全连接层参数由原先的Cross Attention中的全连接层初始化而来。将两个注意力的计算结果相加：
用一个小网络（FC+LN）来将图片特征映射到与文本特征同样维度，固定住Unet，只训练新增的Cross Attention层和这个小网络。
以图像文本对进行训练，损失函数为噪声间的MSE，在训练过程中随机关闭Image Prompt(将CLIP Image Feature置为0)，以此来开启classifier-free guidance训练。具体地，给定一个权重参数，该参数为零时则为原始T2I-SD模型。
LAION-2B+COYO-700M构建一个一千万的图文对。
使用OpenCLIP ViT-H/14作为Image Encoder，为16个text cross attention layer都新增一个image cross attention layer，8卡A100训练100万步，使用DeepSpeed Stage 2配置，单卡batch size为8，可学习参数为22M，学习率1e-4，weight decay 0.01，将图片短边resize到512，center crop出512x512的区域，以0.05的概率分别丢弃Image或者Text，再以0.05的概率同时丢弃Image和Text。测试时如只使用Image Prompt，将上述权重参数设置为1。
与其他方法的比较：
