1. FL(联邦学习)
FL [26]是机器学习(ML)的一个分支,它依赖于多个“客户端”,例如,边缘设备,来收集和处理本地数据,以训练一个ML模型。反过来,客户端的ML模型参数与中央FL服务器共享,用于全局模型聚合。一旦从网络中的客户端收到足够的更新(每轮FL的样本分数),就会生成一个新的全局模型并向所有客户端广播。这种训练本地模型的方法对物联网和以“智能城市”为中心的网络[26]具有一定的重要好处。
2. RPN(Feature Pyramid Network) 特征金字塔
这篇论文主要解决的问题是目标检测在处理多尺度变化问题时的不足
特征金字塔是识别系统中检测不同尺度目标的一个基本组成部分。但最近的深度学习目标检测器避免了金字塔表示,部分原因是它们的计算和内存密集。在本文中,我们利用深度卷积网络固有的多尺度、金字塔式的层次结构来构建特征金字塔,而不需要额外的成本。我们开发了一个具有横向连接的自上而下的架构,用于在所有尺度上构建高水平的语义特征图。这种架构被称为特征金字塔网络(FPN),作为一种通用的特征提取器,在一些应用中显示出明显的改进。在基本的Faster R-CNN系统中使用FPN,我们的方法在COCO检测baseline上取得了最先进的单模型结果,没有任何花哨的东西,超过了所有现有的单模型作品,包括COCO 2016挑战赛获奖者的作品。此外,我们的方法可以在GPU上以5 FPS的速度运行,因此是一个实用而准确的多尺度目标检测解决方案。代码将公开提供。
3. 实例分割 or 语义分割
实例分割 = 目标检测 +语义分割(先画框在分割)
相对物体检测的边界框,实例分割可精确到物体的边缘;相对语义分割,实例分割可以标注出图上同一物体的不同个体
实例分割(上图右)其实就是目标检测和语义分割的结合。相对目标检测的边界框,实例分割可精确到物体的边缘;相对语义分割,实例分割需要标注出图上同一物体的不同个体(羊1,羊2,羊3...)
目前常用的实例分割算法是Mask R-CNN。
Mask R-CNN 通过向 Faster R-CNN 添加一个分支来进行像素级分割,该分支输出一个二进制掩码,该掩码表示给定像素是否为目标对象的一部分:该分支是基于卷积神经网络特征映射的全卷积网络。将给定的卷积神经网络特征映射作为输入,输出为一个矩阵,其中像素属于该对象的所有位置用 1 表示,其他位置则用 0 表示,这就是二进制掩码。
一旦生成这些掩码, Mask R-CNN 将 RoIAlign 与来自 Faster R-CNN 的分类和边界框相结合,以便进行精确的分割:
4. 什么是zero-shot, one-shot和few-shot Learning
带预测的训练样本量 有多少??
Zero-shot learning -- 零样本学习
Zero-shot learning 就是希望我们的模型能够对其从没见过的类别进行分类,让机器具有推理能力,实现真正的智能。其中零次(Zero-shot)是指对于要分类的类别对象,一次也不学习。
One-shot learning --单样本学习
Zero-shot learning 指的是我们之前没有这个类别的训练样本。但是我们可以学习到一个映射X->Y。如果这个映射足够好的话,我们就可以处理没有看到的类了。
One-shot learning 指的是我们在训练样本很少,甚至只有一个的情况下,依旧能做预测。这是如何做到呢?可以在一个大数据集上学到general knowledge(具体的说,也可以是X->Y的映射),然后再到小数据上有技巧的update。
Few-shot learning -- 小样本学习
如果训练集中,不同类别的样本只有少量,则成为Few-shot learning.
就是给模型待预测类别的少量样本,然后让模型通过查看该类别的其他样本来预测该类别。比如:给小孩子看一张熊猫的照片,那么小孩子到动物园看见熊猫的照片之后,就可以识别出那是熊猫。