Transfer Learning基础知识记录与学习

迁移学习的分类:

按迁移情景分类
  • 归纳式迁移:不论源域与目标域是否相同,目标域任务都是不同于源域任务的。
  • 直推式迁移:源域与目标域是不相同的,但是源域任务和目标域任务是相同的。
  • 无监督迁移:与归纳式迁移类似,目标域任务与源域任务相关但是不相同。此外,无监督迁移关注的是在目标域上的无监督学习(聚类,降维等)。
按迁移方法分类
  • 基于实例的迁移:对源域的样本不断更新权重并应用在目标域中,这种方法停留在样本的层面。
  • 基于特征的迁移:寻求一种更合适的特征表示,使得目标域和源域的特征分布差异更小。
  • 基于关系的迁移:通过建立源域和目标域之间相关知识的映射来进行迁移。
  • 基于模型的迁移:挖掘源域和目标域模型可以共享的模型参数或者先验,从而进行迁移。
按特征空间分类

同构迁移学习:源域特征空间与目标域特征空间相同。
异构迁移学习:源域特征空间与目标域特征空间不相同。

负迁移:

负迁移(Negative transfer )是迁移学习领域一个很重要的概念,它是指在进行迁移学习之后目标域预测器的性能反而下降这一现象。显然,负迁移对目标域预测器的构建十分有害,但是不幸的是我们现在仍然无法十分有效的解决之一问题。我个人认为,如果想要预防负迁移的影响,那么仍然需要从上面提到的迁移学习的三个问题入手:何时迁移、迁移什么、如何迁移。在这三个环节上都有可能会引发负迁移,所以需要时时注意自己算法的设计。

Domain Separation Networks(https://arxiv.org/pdf/1608.06019v1.pdf)这篇文章就解决了负迁移的问题。
参考资料:

  1. https://zhuanlan.zhihu.com/p/47991650 (根据港科大杨强教授的survey进行总结,概念全面)
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 1、隐式解析可选类型 有时候在程序架构中,第一次被赋值之后,可以确定一个可选类型总会有值,这时候每次使用时都判断和...
    Mr_xuy阅读 492评论 1 4
  • 1 为什么要对特征做归一化 特征归一化是将所有特征都统一到一个大致相同的数值区间内,通常为[0,1]。常用的特征归...
    顾子豪阅读 6,652评论 2 22
  • 1 为什么要对特征做归一化 特征归一化是将所有特征都统一到一个大致相同的数值区间内,通常为[0,1]。常用的特征归...
    顾子豪阅读 1,426评论 0 1
  • 最近开始了隐私保护计算的学习。参考内容包括网络、圈内朋友和信通院的《隐私保护计算技术研究报告(2020年)》。本文...
    小叶与小茶阅读 8,619评论 2 4
  • 注:题中所指的『机器学习』不包括『深度学习』。本篇文章以理论推导为主,不涉及代码实现。 前些日子定下了未来三年左右...
    我偏笑_NSNirvana阅读 40,099评论 12 145