元学习与终身学习

元学习与终身学习

元学习有点类似于AI进化算法。大自然的生物通过一代代的进化来优化物种,基于这种思路的AI算法曾经广泛应用在优化领域。元学习也是通过一次次的训练来达到优化算法的目的,但它是有引导的精准训练,而不是进化算法里使用的随机方法,这是一个最大的区别。

终身学习

在最新的AI算法中,与元学习密切相关的是终身学习(Life-long Learning)算法。该算法通过积累过去获得的知识而不断学习,然后用在未来的学习和问题解决中。然而,当前主流的深度学习范式是孤立学习的:给定训练数据集,在此数据集上运行深度学习算法以生成模型,然后将其用于所需要的应用。它不试图保留所学到的知识并将其用于后续学习。

与深度学习AI系统不同,人类仅通过几个例子就能进行有效的学习,这恰恰是因为人类的学习是知识驱动的:过去所学的知识可以帮助人类以很少的数据或精力来学习新事物。终身学习算法的目的就是模仿人类的这种学习功能,从而使AI系统的智力水平有所提高。

在现实生活中,大多数时候人们会期望许多新任务从根本上与旧任务不同。而终身学习没有这个假设,它会选择适用于新任务的先前知识。终身学习方法是持续学习过程,明确进行知识保留和积累,并使用先前学到的知识来帮助学习新任务。此外,终身学习还能够发现新任务并逐步学习它们,并在现实应用中学习其他知识以改进模型。

其他比较受关注的还有迁移学习和多任务学习范式。这两种范式都涉及跨领域或跨任务的知识迁移,但它们不会持续学习,也不会明确地保留或积累学到的知识,构建可以处理数百万个任务并学会自动完成新任务的深度学习系统要面临巨大的挑战。

而元学习通过大量任务训练元模型,只需几个例子即可快速适应新任务。但是,大多数元学习技术的一个重要前提是,新任务要与所训练过的任务来自同一类别(如训练识别猫、狗的图片之后,新任务也是识别图片),这是一个致命的弱点,限制了其应用范围。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容