这篇论文还是出自google家与Meta-Dataset作者完全不同, 但是也是在meta-dataset仓库里有提到.
工作主要是统一了transfer learning 和meta-learning两家的benchmark: VTAB和meta-dataset, 然后在构造的统一的赛道上对比transfer learning和meta-learning的效果. 这里实际上测试的都是少样本图像分类实验.
论文给出的主要结论是transfer会比meta-learning强一些, 而这种优势主要来自于BIT-L为代表的transfer采用了大量的数据(ImageNet/JFT), 并且使用的是大规模的模型(ResNet-101x3). 另一方面, meta-learning在VTAB赛道上表现不好, 论文倾向于认为是因为meta-learning对OOD(out-of-distribution)的情况有较差的泛化性, 说白了就是在学过的类似的类别分类任务上比较好使, 在完全没学过的任务上就比较离谱, 并且meta-learning插话式学习(episodic learning)代价大(需要显存大), 跑不起大模型.
论文首先指出meta-learning存在的一大问题是数据batch设置问题, meta-learning在few-shot learning场景下用的是n-way k-shot 数据格式 也就是 n个类别的图片 每个具有k个带标签样本作为一个最小的训练单位(后面也称为task), 这样的设置相对于transfer来说meta-learning给batch大小带来了一个下界, 因为半个task数据没法训练, 至少都要一个batch. 那这样相对于transfer来说, 同样的数据, transfer可以下调batch所含样本数量来提高模型的复杂度, 而meta-learning则会被batch下界和模型复杂度卡死. 这是限制meta-learning的一个要点, 如果能做出一个轻量级的meta-learning算法突破这种限制, 就可以把大一些规模的模型塞入进来, 应该是一个不错的点.
具体实验中, meta-learning这边的算法, MD-transfer, protoMAML, CTX, SUR都是用的浅ResNet(18,18,34,18)网络. 在超参选择上, BIT-L单独处理, 其余统一用meta-dataset论文里的办法在validation set上做.
其次, 文章前半部分基本给出的结论就是BIT-L, 模型大, 数据多, 爽! 而Meta-learning可能隐含只适用与训练类类似的场景的弊病, 它用SUR举例训练数据多, 但是在VTAB上超不过CTX. 后半部分则开始解析BIT-L好的原因.
1. 把BIT-L和MD-transfer对比, 作者认为超参影响比较大, 这里没有做直接表述而是举了几个其他论文中提出的关于超参的观点.(等于也没把话说透, 只说有影响, 不说怎么影响或什么细节影响)
2.模型大了表现整体更好(针对BIT-L), 但是在严重ood的omniglot上结论相反, 并且分辨率提高对模型正确率有提升.
3.BIT-L采用的normalization方式, 用的是group normalization and weight standardization (GNWS)而不是batch normalization. BN已经在某篇论文中被指出不适应few-shot 分类任务.
4.另一方面, 作者对比是更多的数据对模型有影响还是因为数据多了将覆盖更多的domain从而带来更好的影响, 所以对BIT-L所学习的数据进行了对比, 一组学正常的VTAB, 另一组学VTAB+MD的测试集的一部分, 最后一组学删去部分的VTAB. 结果表明, 删去部分数据后, 与之类似的测试任务性能立即下降, 而增加的MD部分对结果影响甚微, 从而证明了domain覆盖的重要性, 而我认为这也是现有transfer和meta-learning的一种弊病或者特性, 但是现有的论文工作还没有细化或量化地表述这种domain coverage对模型性能的影响, 我觉得这是数据集和模型需要双面努力的方向.
我看这篇论文的时候这篇论文还没有被特定会议收录, 但是应该已经是投稿状态了. 后续工作可以开始考虑轻量化meta-learning, 以容纳更大模型等.
