分类的经典方法
深度学习最原始的，也是入门深度学习最开始做的任务之一，就是分类，最经典的分类方法，就是为每个标签计算一个logits，然后使用softmax for cross entropy去计算交叉熵，然后通过反向传播更新网络参数，使loss不断降低来达到分类的目的。
softmax for cross entropy的详细公式如下：
对于图像分类，常用的网络结构使VGG，resnet等，对于文本分类，常用的是RNN、Transformer等网络结构。
经典分类方法的问题
经典分类方法的优势就是其原理比较符合直觉，易于理解，但也存在一些问题，其中一个问题就是其分类类别数量是固定死的，例如经典的ImageNet分类任务，其类别数量就是固定的1000个类别，如果想要用在ImageNet上训练好的模型去给不在这1000个类别中的类做分类判断，最终的结果也只能落在这1000个类中的一个，不可能向外泛华到不存在在这1000个类的类别之中，那么有没有别的方法可以解决这个问题呢？
CLIP
CLIP是一种基于对比学习的文本、图像对匹配的方法，其原理图如下所示，
[图片上传失败...(image-f0a242-1690804176478)]
CLIP会将一个batch里的图片和文本分别提取特征，图片和文本的特征维度相同，然后对两个batch里的图片特征和文本特征作内积，这样得到的矩阵只有对角线上的文本和图片是匹配的，以此来计算交叉熵，具体的代码如下。
def get_logits(text1_features, text2_features, logit_scale):
# 计算image_features @ text_features.T相似度矩阵
logits_per_text1 = logit_scale * text1_features @ text2_features.T
logits_per_text2 = logit_scale * text2_features @ text1_features.T
return logits_per_text1, logits_per_text2
def cal_clip_loss(text1_features, text2_features, logit_scale):
device = text1_features.device
logits_per_text1, logits_per_text2 = get_logits(text1_features, text2_features, logit_scale)
labels = torch.arange(logits_per_text1.shape[0], device=device, dtype=torch.long)
total_loss = (
F.cross_entropy(logits_per_text1, labels) +
F.cross_entropy(logits_per_text2, labels)
) / 2
score = torch.mean(torch.diagonal(cos_sim(text1_features, text2_features)))
return total_loss, score
CLIP官方并没有开源其训练代码，这里分析一下如果按照上述代码训练，需要注意什么问题。
根据图示以及代码，在计算loss的时候，只有对角线上的元素会被当做正样本，非对角线上的元素全部会用来作为负样本，这样便要求一个batch里面的数据，除了自身成对之外，与batch内的其他数据不能匹配，而且要越不匹配越好，否则，就会出现正样本当做负样本来计算loss，会造成模型训练的不稳定。
当然，我们知道CLIP的训练数据量超级大，即便是存在上述所描述的情况，也是少数的，可以当做数据集里存在噪声，但我们自己在训练的时候，尤其是训练分类任务的时候，由于样本标签比较少，上述描述的情况出现的概率就比较大了，这时就需要注意如何避免这种问题了。
基于对比损失分类
所谓对比损失的分类方法，其前提假设就是标签虽然字符数量并不多，但是仍然是存在语义的，其训练方法就是借鉴了CLIP的方法，只不需要将文本对应的编码器改为标签对应的编码器，因为标签一般字符很少，用一个较小的BERT去编码就可以，这样训练得到的分类模型，不需要受制于标签个数的影响，只不过泛化到已有标签以外的效果如何，则数据、算法、标签三者如何取，就是一个比较吃经验的问题了。
