原视频讲解地址

真诚的向大家推荐这个UP主，论文讲述的方法清楚，脉络清晰，听君一席话胜读十年书。

论文题目: A simple framework for contrastive learning of visual representations

论文地址: http://arxiv.org/abs/2002.05709

前序讲解论文：BYOL、SimSiam

是一种非常典型的使用contrastive learning来进行self-supervised learning的一种方法。

目录：1、本文的具体实现方法 2.结果以及结论

1. methodology

以下是本文的网络结构：

图1 网络结构图

经典的对比学习的网络，输入一张图像，采用不同的图像增强策略产生了两种样本。送入encoder中，在送入projector中，得到latent space中的向量，计算loss。同一张图像生成的拉进，不同图像产生的相互远离。本文使用的loss function如下：

其中的sim就是两个样本之间的夹角。所以分子部分表示两个样本的夹角，而分母的部分表示（i,j）与其他样本的相似程度。同一个样本我们希望他们尽可能靠近， 不同的样本我们希望他们尽可能远离。也即希望分子尽可能小，分母尽可能大。

图2 伪代码

结果

图3 结果图

图4 结果图

注意：SimCLR对于Batch_size非常的敏感。