多应用领域“大数据” “小数据”的迁移学习技术 | 迁移学习

迁移学习实现将特定领域的模型应用到多个目标领域中,能够促进目标领域模型的学习成长,并降低目标领域内对于数据量和类型的要求,实际上就是利用已有先验信息来优化模型学习内容。迁移学习在小数据环境、智能终端上具有广阔的应用空间,迁移学习需要将在数据量充足的情况下学习到的知识,迁移到数据量小的新环境中,能够通过发现大数据和小数据问题之间的关联,把知识从大数据中迁移到小数据问题中,从而打破人工智能对大数据的依赖。

这里还是要推荐下小编的大数据学习QQ裙:532218147,不管你是小白还是大牛,小编我都欢迎,不定期分享干货,包括小编自己整理的一份2018最新的大数据资料和0基础入门教程,欢迎初学和进阶中的小伙伴。在不忙的时间我会给解答

迁移学习为两类问题提供了解决路径,这也是迁移学习存在的实际价值:

一是在数据样本量小的行业中,人工智能学习、认知的问题。比方说我们准备新开一个售卖零食的网店,由于没有数据积累,无法从售卖其他商品的网店推荐顾客来购买,这时候如果我们知道顾客买饮料的时候很有可能也会买零食,并且卖饮料的网店已经积累了大量数据,就能够利用这些数据,结合顾客买饮料和零食的习惯建一个模型。然后,把饮料的推荐模型迁移到零食的领域,这样就可以成功推荐顾客购买可能喜欢的零食。这个例子足以说明迁移学习的应用前提,即至少包括两个领域,一个领域已经积累了足够多的数据,能够成功地建立算法模型;另外一个领域数据量不大,但是和前面那个领域是相互关联的,这时就可以把前一个领域的模型迁移过来给后一个领域使用。

二是通用与个性化问题。平时在使用手机的时候,希望它能够记住我们的一些生活习惯以方便使用,可以把常规用户A使用手机的常见习惯,建立成为通用模型,当其他用户使用的时候,可以迁移通用模型到其个性化的数据中。这样,A用户的常见习惯就“迁移”成为了所有同类型用户的“公共习惯”,让所有人操作手机的时候都能够更方便快捷。

但是不能讲迁移学习不能简单认为就是小数据环境下的学习认知问题,它是在深度学习基础上实现广泛应用在小数据环境下的有效途径。在特定领域内通过大数据建立好深度学习应用模型后,换一个领域进行应用,实际就是实现认知学习中的联想记忆、举一反三的能力。

实现迁移学习的方法

1)样本迁移,就是我们在数据集里面找到跟目标领域相似的数据,把这个数据放大多倍,这个叫做样本迁移,通过样本来达到迁移的目的;

2)特征迁移,可以观察到有些相似的特征,然后利用这些特征,在不同的层次的特征,来进行自动的迁移;

3)基于模型的迁移学习,利用上千万的图象来训练一个图象识别的系统,我们遇到一个新的图象领域,我们就不用再去找几千万个图象来训练了,我们就把原来的那个迁移到新的领域,所以在新的领域只用几万张图片就够,同样可以得到很高的效果,模型迁移的一个好处是我们可以区分,就是可以和深度学习结合起来,我们可以区分不同层次可迁移的度,相似度比较高的那些层次他们被迁移的可能性就大一些;

4)通过关系进行迁移,我们也可以通过关系来进行迁移,比方说社会网络,社交网络之间的迁移。

因为现阶段的人工智能需要从海量数据中进行学习,但是对于很多特定垂直的领域而言,其数据并不足够支持AI学习,这时候就需要迁移学习来发挥巨大价值。比如在语音识别中,虽然识别普通话有海量数据可供人工智能学习,但是对于方言,其样本数据量就不够。所以,为了针对数据量不那么多的方言进行语音识别,百度需要把从学习普通话中得到的知识迁移到学习方言过程中,才能完成比较准确的语音识别。

举个栗子

Google的机器人和无人驾驶汽车就是使用了迁移学习进行训练,通常会建设一个仿真的环境(数字虚拟),在场地中安排数百个机器人或虚拟无人汽车同时训练,可以极大提高人工智能的学习效率,并且不用担心损耗问题。

当Google通过这样的方式训练出一个能够在仿真环境中干家务的机器人时,那么把它的智能迁移到实体的机器人中,这个机器人再经过一定训练后也就可以做家务了。这对传统机器人行业带来的冲击是巨大的。因为传统机器人的控制方法都依赖于人工,需要对每一种机器人进行编程;而通过迁移学习的方式,机器人可以把在仿真环境中学会的知识运用到真实的环境。这将为智能时代制造和训练机器人创造了最好的工具。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,695评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,569评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 168,130评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,648评论 1 297
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,655评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,268评论 1 309
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,835评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,740评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,286评论 1 318
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,375评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,505评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,185评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,873评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,357评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,466评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,921评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,515评论 2 359

推荐阅读更多精彩内容