一、写在前面
本文是 MIT CSAIL & Google Research 在2020年关于 Few-Shot Learning的又一篇力作，受 ICLR 2020 的经典文章 A baseline for few-shot image classification 启发，提出了如下假设：
Embeddings are the most critical factor to the performance of few-shot learning/meta learning algorithms; better embeddings will lead to better few-shot testing performance (even with a simple linear classier)
二、主要内容
2.1 backgrounds
meta-learning 大致分为两个主要思路：
- Optimization-based methods
- Metric-based methods
few-shot classification tasks 也有两个思路：
- meta-learning 方法
- 学习好的表征 representation
2.2 related work
- Metric-based meta-learning
- Siamese neural networks for one-shot image recognition（ICML 2015）
- Matching networks for one shot learning （NIPS 2016）
- Prototypical networks for few-shot learning （NIPS 2017）
- ...
- Optimization-based meta-learning
- Optimization as a model for few-shot learning (ICLR 2017)
- MAML - Modelagnostic meta-learning for fast adaptation of deep networks. (ICML 2017)
- ...
- Meta-learning datasets
- Omniglot
- Meta-dataset
- mini-ImageNet
- ...
2.3 motivation
Few-shot classification中一直有这样一个问题：meta-learning 和 representation-learning 哪个表现更好。最近的文章发现仅用常规的模型做 fine-tuning，就可以达到与最好的meta-learning方法差不多的效果。因此本文探索在Few-shot classification中如何学习好的 representation。
三、文章方法
3.1 key idea
正如题目所说，A Good Embedding is All You Need。本文提出一个简单的few-shot classification baseline，学习 good learned representations 可以干掉一众 meta-learning algorithms
3.2 methods
具体怎么学习 good learned representations ？
- meta-training阶段，在组合训练集（可以理解为大规模数据集）上训练一个图像分类任务得到 embedding model，固定参数。
- meta-testing 阶段，将所有的 support images 和 query images 输入至上一步训练好的embedding model 得到对应的 embeddings （与组合训练集可以不同分布）
- 然后用support images embeddings 训练一个简单的线性模型 base learner
-
最后将 query images embeddings 输入至线性模型中得到分类结果
- 值得注意的是，meta-testing 阶段中，每个task（个人理解是一组[support set, query set]）都对 base learner 初始化再重新学习。
- 此外，作者使用知识蒸馏（Knowledge distillation）得到了一个新的 embedding model ，获得了更好的效果 （2-3个点）
四、写在最后
这篇工作给 few-shot-classification打开了一个大门，验证了representation的重要性。此外，作者没有全盘否认meta-learning，只是说在 few-shot-classification任务中本文的方法比meta-learning好。
