姓名：刘慧林；学号：21021210619；学院：电子工程学院
转载：https://zhuanlan.zhihu.com/p/359356731
论文题目：《Generalizing from a Few Examples: A Survey on Few-Shot Learning》
该论文出自香港科技大学。
摘要：机器学习在数据密集型应用中取得了成功，但在数据集很少时，常常受到阻碍。近期，为了解决这个问题，提出了“小样本学习”。它可以用先验知识从受监督的经验有限的新任务中快速得出结论。为了全面了解FSL，本文进行了一项彻底的调查研究。首先从FSL的正式定义开始，我们将FSL与几个相关的机器学习问题区分开来。其中不可靠的经验风险最小化是FSL的核心问题。基于采用先验知识来处理核心问题的方式，将不同的FSL方法分为三个方面：1）数据使用先验知识来增强监督经验，2）模型通过先验知识来约束假设空间，3）算法使用先验知识来改变假设空间搜索最佳假设的参数。在这种统一的分类法下，本文对不同类别的利弊进行了详尽的讨论。最后，在问题设置、技术、应用和理论方面为FSL提出了可能的方向，为后续研究提供深刻见解。
一、引言
计算机科学之父图灵早在1950年时，就曾提出，“机器会思考吗？”这样的问题。机器的最终目标是像人一样聪明。近些年出现了强大的计算设备GPU，大型数据集ImageNet及先进模型和算法。AI已经在一些方面击败了人类，比如：AlphaGo，ResNet(在分类任务上击败了人类)。人工智能还支持yu日常生活中一些智能工具的开发，如语音助听器、搜索引擎、自动驾驶汽车和工业机器人。
即使AI发展的如火如荼，然而当前的技术无法在少量数据中推广。人类能够利用过去的经验快速学习新任务，给一个小孩几张陌生人的照片，他可以从大量照片中找到同一人的照片。在人类看起来如此简单的事情，然而机器就无法做到。
因此，缩小AI和人类之间的差距是一个重要的方向。由于机器学习涉及如何构建随经验而自动改进的计算机程序的问题，因此可以通过机器学习来解决。为了从少量有监督的样本信息中学习，诞生了机器学习算法Few-shot Learning (FSL)。典型的应用有字符生成，机器人技术（一键模仿，多臂强盗，视觉导航，连续控制），药物发现，FSL翻译，冷启动项目推荐。另外，FSL还可以减轻标签数据的收集和减少数据密集型应用的数据收集。比如：图像分类、图像检索、目标跟踪、手势识别、图像理解、视觉问题回答、视频时间检测、语言建模和神经结构搜索。
在人工智能接近人类的学术目标和工业对廉价学习需求的推动下，FSL近来备受关注，已成为热门话题。许多机器学习算法被提出，如meta-learning、embedding learning、generative modeling。然而目前并没有相关工作去调研FLS方法，解释为什么有些方法能工作，有些方法失败，不同方法的利弊。因此，本文对FSL问题进行了详细的调研。
这篇调研的贡献可总结如下：
（1）给出了FSL的正式定义，这自然离不开经典机器学习的定义。这个定义不仅充分说明了FSL如何工作，还阐明了FSL的目标是什么及如何解决它。此定义有助于确定FSL领域的未来研究目标。
（2）列出了相关的学习问题并给出了具体的例子，说明了与FSL的区别与联系。这些讨论有助于在各种学习中更好地区分和定位FSL。
指出FSL监督学习的核心问题是不可靠的经验风险最小化，它是基于机器学习中的错误分解进行分析的。这为以后更有条理和系统化的方式改进FSL方法提供了见解。
（3）从数据、模型和算法的角度进行了微观的扩展性回顾，并通统一的分类法去组织。还总结了一些见解，并讨论了每个类别的优缺点。这有助于更好地理解FSL方法。
（4）我们在问题设置、技术、应用、理论方面给出了FSL未来有前景的研究方向。这些深刻见解是基于当前FSL的弱点，并有可能在未来做出改进。
1.1 调研的组织情况
第二部分提供了FSL的概述，包括FSL的正式定义、相关的学习问题、核心问题及现有工作在数据、模型和算法方面的分类。第三部分用数据扩增来解决FSL问题。第四部分用算法减少假说空间大小的方法，使FSL可行。第五部分用于改进算法的搜索策略以处理FSL问题的方法。第六部分，从问题设置、技术、应用和理论方面为FSL提出了未来的方向。第七部分，总结调研。
1.2 符号和术语
二、概述
2.1 问题定义
由于FSL是机器学习的子区域，这里先给出机器学习的定义：对于某类任务T和性能度量P，一个计算机程序被认为可以从经验E中学习是指，通过经验E改进后，它在任务T上由性能度量P衡量的性能有所提升。
例如：一个图像分类任务T，一个机器学习程序可以通过训练大量的标记数据得到经验E，进而提高分类准确率。另一个例子，AlphaGo，在古老的围棋比赛中击败人类，通过在一个数据库E上训练3000多万个人类专家记录的动作，并反复与自己比赛，来提高自己对对手的获胜率。
机器学习的应用中包含了很多有监督学习，然而，有些应用是不可行的，甚至不可能。FSL是一个典型的机器学习案例，它致力于在有限的监督样本中学习更好的性能。
小样本学习定义；是一种机器学习问题，经验E在任务T上有少量的监督信息的样本情况下获得的。
现有的小样本学习主要是监督学习问题。具体描述如下：
FSL 三个典型的应用场景
（1）模仿人类学习。为了向人类智能迈进，计算机程序能够解决FSL问题至关重要。一个流行的任务就是，仅给出几个样本就可以生成一个新的字符。受人类学习方式的启发，计算机程序使用E进行学习，E有有监督信息的给定示例和预训练的概念（如部分和关系）作为先验知识组成。通过视觉图灵测试（P）的通过率对生成的字符进行评估，该测试可以区分图像是由人还是机生成的。有了这些先验知识，计算机程序还可以学习分类，解析和生成带有人类示例的新手写字符。
（2）罕见案例学习。如：新药物的发现，此案例无法收集足够多的监督样本。
（3）减少数据收集和计算成本。
FSL方法通过将E中可用的监督信息与一些先验知识相结合来使任务T的学习变得可行。这些先验知识是学习器在看到例子之前对未知函数的所有信息。FSL方法的一种典型类型是贝叶斯学习，它结合了所提供的训练集Dtrain和一些先验概率分布，这些概率分布在给出Dtrain之前就可用。
在经验E中若只有一个监督信息样本时，则FSL称之为one-shot learning，若经验E未包含任何监督信息样本时，则FSL成为zero-shot learning（ZSL）。若目标类别中不含有监督信息的样本时，ZSL需要从其他的形式获得信息（属性、WordNet、罕见的对象识别任务中使用的单词嵌入），以传输一些受监督的信息并使学习成为可能。
2.2 相关的学习问题
2.2.1 弱监督学习
弱监督学习定义：不完整、不精确、不准确、有噪声的监督信息
与FSL最相关的问题是指不完全监督（只有少量的有监督信息的样本）中的弱监督学习。
弱监督学习分类：
半监督学习——使用少量有标签和大量无标签样本学习
主动学习——无标签样本发给oracle（业务专家）询问输出，此类主要针对样本标记价格高，比如：行人检测。
FSL和弱监督学习的区别
弱监督学习和不完全监督学习仅包括分类和回归，而FSL学习还包括强化学习问题。此外，弱监督学习和不完全监督学习主要使用未标记的数据作为E中的附加信息，而FSL利用了各种先验知识，例如预训练模型和其他领域方式的监督数据，并且不限于使用未标记的数据。因此，只有当先验知识是未标记的数据且任务是分类或回归时，FSL才成为弱监督学习问题。
2.2.2 不平衡学习
定义：从经验E中学习y的偏态分布。
和FSL的区别：不平衡学习会进行训练和测试，以便在所有可能的y中进行选择。相比之下，FSL会通过一些样本对y进行训练和测试，同时可能会将其他的y作为学习的先验知识。
2.2.3 迁移学习
定义：将知识从训练数据丰富的源域（任务）转移到数据缺乏的目标域（任务）。
特点：迁移学习方法在FSL中得到了广泛的应用，其中先验知识从源任务转移到了少数任务。
2.2.4 元学习
定义：跨任务提取元知识来改进新任务。
特点：归纳FSL的先验知识
2.3 FSL的核心问题
2.3.1 经验风险最小化不可靠
真实风险期望：
估计风险经验：
大样本和小样本学习误差对比：
2.4 FSL方法分类及研究现状
