014、文本到图像生成：CLIP引导与潜在对齐

一、从一次深夜调试说起

上周在复现一个文本到图像的生成实验时，遇到了一个典型问题：模型生成的图像看起来“还行”，但总感觉和输入文本差了那么点意思。比如输入“一只戴着墨镜的柴犬在沙滩上晒太阳”，出来的图像柴犬倒是像，但墨镜时有时无，沙滩背景也经常混入奇怪的植被。损失函数在下降，指标看着也正常，但就是不对劲。

这种“不对劲”往往不是模型结构的问题，而是文本和图像两个模态的“对齐”没做好。今天要聊的CLIP引导和潜在对齐，就是解决这个问题的关键思路。

二、CLIP为什么能成为“翻译官”

CLIP（Contrastive Language-Image Pre-training）本身是一个多模态模型，它的训练方式很巧妙：让模型学会判断哪些文本和哪些图像是配对的。它不生成任何东西，只做“匹配判断”。这个特性让它成了文本和图像之间的一个高质量“翻译官”。

在扩散模型中引入CLIP，核心目的是用CLIP的跨模态理解能力，来约束图像生成过程，让生成的图像在语义上更贴近文本描述。这里常见的做法是在扩散过程的采样阶段，用CLIP的文本编码和图像编码计算相似度，作为额外的引导信号。

三、CLIP引导扩散：一种直观的实现

下面是一段简化版的CLIP引导采样伪代码，帮助理解这个过程：

defclip_guided_sampli