论文地址：https://arxiv.org/abs/2010.12050

发表于 NeurIPS 2020

下面就让我们快速的来浏览一下这篇论文吧！

1. 摘要

作者在摘要中主要说明了本文针对的是“在以往的对比学习工作中没有解决具有挑战性的负样本对的选择问题”。作者通过融合对抗训练的方法，以对抗样本为更具挑战性的正样本和负样本来解决这一问题。实验表明，这样的方法是有助于提高CL方法的性能的。

2. Introduction

作者在这一部分中首先对自监督学习的思想和方法进行了简要的介绍。然后介绍了目前的研究主要聚焦于挖掘CL中的正样本对。例如，增广的方法，多模态的CL方法等。从而引出动机中最重要的一点“负样本的设计在CL文献中受到的重视比较少”。从而本文的立足点是寻求一种通用的算法来生成不同的正负对和具有挑战性的负对。在本文中作者采用对抗样本来扩充正样本对和负样本对。最后，在inro部分的最后一段，作者惯例介绍了本文的贡献点。

1）证明对抗数据增强可以用于提高自监督学习的性能。

2）提出了一种结合对抗训练的对比学习方法。

3. related work

本文工作的重点主要是图像分类任务。所以作者在相关工作这一部分主要介绍的是对比学习以及图像分类的对抗训练的内容。

虽然对抗训练通常是一种有效的防御机制，但是对于干净的例子进行分类的准确性经常会下降。

4. 利用对抗样本改进对比学习

4.3 对抗增广

作者表示对于本文的方法而言，寻找的是能够最大化下列损失函数的增广样本：

公式一

但是一般而言，这是一个定义不明确的问题，因为对于每一个示例，重要的是两个增广之间的差异，而不是他们的绝对值。这个问题可以通过固定上式的变换之一来消除，取而代之求解下式：

公式二

未完待续