挑选了5个在2020年成功吸引了我眼球的、在我心目中超级重要的AI成果，从低到高进行了排序。

赶在2021年到来之前，来一波对2020年的年终总结与回顾。

No.5 SimCLR

图源[1]

由Google大脑团队（Hinton领衔）完成的工作，提出了一个简单的用于对比自监督学习的框架。其核心思想在于，让模型学习相似图片，使得相似图片在模型中的特征距离接近（见下图），进而让模型能够提取到更好的视觉特征。

图源[2]

在ImageNet数据集上，SimCLR模型不仅超越了最优的自监督表征学习模型，而且所需要的数据量更少[2]：

使用1%有标注数据进行fine-tune，SimCLR达到63% 的top-1 acc和85.8%的top-5 acc，优于先前最优的自监督表征学习方法CPC v2（52.7% 和 77.9%）；

使用100%有标注数据，在SimCLR预训练模型上fine-tune，取得比用100%数据从头进行监督学习更高的准确率——前者在30个epoch后的top-1 acc 80.1%，后者在90个epoch后78.4%。

这一简单有效的框架表明：虽然对比自监督学习（Contrastive Self-Supervised Learning）在近两年的热度很高，但还存在很大的提升空间，可能能帮助当前基于有监督的视觉方法再更进一步。

No.4 ViT

图源[3]

这同样也是一篇来源于谷歌大脑团队的工作，他们提出了一种Vision Transformer(ViT)的模型结构。当Transformer结构在NLP领域里“大杀四方”时，终于有团队在CV计算机视觉领域中成功的应用它取代了“保留节目”卷积神经网络。

图源[3]

为了直接将Transformer结构应用于图像领域、不进行任何图像相关的特定化修改，图像被分为指定大小的块并进行序列化，以适应Transformer的输入。并且和NLP任务类似，也需要对模型进行大量数据上的预训练。

令人意外的是，如此“简单粗暴”的操作，在图像分类任务上却能够取得与当前CNN模型相当的效果。当然了，在更复杂的图像任务上的效果还有待探索和加强，但这一工作让我们看到了“跨界”的可能，相信未来会有更多在视觉上的工作基于Transformer而展开。

No.3 MuZero

图源[4]

MuZero其实是2019年DeepMind团队就已经pre-print的工作，但是在2020年被Nature收录了，所以这里勉强算作2020年的工作吧。

从下面这张图，可以看到DeepMind团队是如何一步步将AlphaGo演进成MuZero的：

1. AlphaGo在2016年的围棋比赛中以4-1击败了围棋世界冠军李世石，但在训练中引入了人类棋谱、人类领域知识和规则；

2. AlphaGo Zero，在2017年去除了人类棋谱和领域知识，只提供围棋规则，模型从零开始，通过自我对弈训练，以100-0战胜AlphaGo；

3. AlphaZero则在2018年对AlphaGo Zero进行了一般化，可以应用于其他游戏，包括国际象棋和日本将棋，但仍需要定义清楚游戏规则；

4. MuZero则具备在未知的环境中学习游戏规则的能力，且在围棋、国际围棋、日本将棋、Atari游戏中均有突破。

图源[5]

对于强化学习，先前很多人“诟病”的点在于——往往在游戏环境中取得突破，因为游戏环境是有明确的游戏规则的。而现实社会是复杂而混乱的，无法对规则进行建模。MuZero证明了可以让计算机具备一种能力，在不提供规则的前提下，通过反复试验，发现规则并达到超越人的表现。毫无疑问的是，这是通向“通用人工智能”的重要一步。

No.2 GPT-3

图源[6]

OpenAI团队提出的具有1750亿参数的GPT-3模型，在海量数据上进行无监督训练，不需要针对具体任务进行模型的微调便能够展现惊人的效果：在不需要finetune的前提下就能超越当时的所有SOTA模型（经过finetune）；使用GPT-3模型生成的文章，其质量之高，让人类也很难区分真假。

训练出这样一个模型实在是太过烧钱，训练成本据称在一千万美元（保守估计，普通人或者公司几乎不可能会这样投入），并且这个模型的“威力”太过强大（其创作的文章甚至很难被看出是机器所写，不慎滥用可能带来例如“种族歧视”等社会问题）。

在创造者OpenAI看来，一方面这个模型落入“心怀不轨”之人手中可能会产生社会问题，另一方面这样一个巨大投入创造出的人工智能模型存在着巨大的商业价值。

因此，这个模型并没有开源，只是OpenAI官方承诺后续将作为一项收费服务来让大家使用。现阶段可以通过向官方申请的方式，获取试用GPT-3的机会。不少开发者们基于GPT-3开发了一些有趣的应用，让普通人们也看到了未来的无限可能性和引人遐想的空间，比如说：能够根据描述生成代码、根据描述写小说/新闻/广告/PPT、回答数学/物理问题等。

No.1 AlphaFold2

这又是一篇DeepMind团队发表在Nature上的工作。

说实话，这是一篇让我“不明觉厉”，却仍然将它排列在我心目中的No.1位置的工作。

图源[7]

我无法从生物学上的角度来给予它“神圣的效用”，只能从一个AI从业者的角度上看待：一个原本需要在现实世界中通过大量实验解决的问题，现在在计算机的世界中以一种更为高效、准确的方式得到了求解。

这种利用人工智能实现的对现实世界的仿真、复制和探索，已经在这几年越来越多的出现，并且将在未来几年成为常态。

但是，这并不是对现实世界的替代，而是对现实世界的补足和完善。

历史的车辆滚滚向前，而我们终将抵达最后的终点。

PS1. 这篇文章也只是我个人在日常学习工作中关注到的一些内容，不能完全覆盖或者代表大家心中的Top-5，仅供参考。

PS2. 吾生也有涯，而知也无涯。相信2021年会有更多令我们惊叹的工作涌现，希望在2021年，所有阅读到这里的朋友们也都能取得大的突破。

图源网络

参考资料：

[1] https://arxiv.org/pdf/2002.05709.pdf

[2] https://ai.googleblog.com/2020/04/advancing-self-supervised-and-semi.html

[3] https://arxiv.org/pdf/2010.11929.pdf

[4] https://www.nature.com/articles/s41586-020-03051-4

[5] https://deepmind.com/blog/article/muzero-mastering-go-chess-shogi-and-atari-without-rules

[6] https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf

[7] https://deepmind.com/blog/article/AlphaFold-Using-AI-for-scientific-discovery

- END -

新朋友们可以看看我过往的相关文章

【相关推荐阅读】

七夕情话，用GPT-2教你写

深度学习在计算机视觉中应用的三大问题

从2018到2020的AI发展预测