什么叫非局部泛化(generalise non-locally)

Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist,致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标,带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者,他和UAI一起在2014年创建了TASA(中国最早的人工智能社团), DL Center(深度学习知识中心全球价值网络),AI growth(行业智库培训)等,为中国的人工智能人才建设输送了大量的血液和养分。此外,他还参与或者举办过各类国际性的人工智能峰会和活动,产生了巨大的影响力,书写了60万字的人工智能精品技术内容,生产翻译了全球第一本深度学习入门书《神经网络与深度学习》,生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程,均受学生和老师好评。

Yoshua Bengio's quora answer.

问:什么样的算法可以称为是可非局部泛化的?
答:我指的非局部泛化算法是对那些与训练过程中的输入相距很远的输入也泛化得较好的学习算法。这类算法必须能够对解释数据的内在概念新的组合进行泛化。近邻方法和相关的像 kernal SVM 和 Decision Tree 算法只能在某些训练样本的空间邻居上按照简单的方式组合(like linear interpolation or linear extrapolation)进行比较好的泛化。因为解释数据的内部概念的可能配置的数目是指数级大的,这些算法的泛化虽然不错,但是还不足够好。非局部泛化表示能够泛化到超级大内在概念的可能的配置的空间的能力,那些新的数据可能会离观测到的训练数据很远,远远超过训练样本的邻居的训练样本的线性组合。


原文:

I mean that the algorithm should be able to provide good generalizations even for inputs that are far from those it has seen during training. It should be able to generalize to new combinations of the underlying concepts that explain the data. Nearest-neighbor methods and related ones like kernel SVMs and decision trees can only generalize in some neighborhood around the training examples, in a way that is simple (like linear interpolation or linear extrapolation). Because the number of possible configurations of the underlying concepts that explain the data is exponentially large, this kind of generalization is good but not sufficient at all. Non-local generalization refers to the ability to generalize to a huge space of possible configurations of the underlying causes of the data, potentially very far from the observed data, going beyond linear combinations of training examples that have been seen in the neighborhood of the given input.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • map 函数 : 数组利用map函数迭代执行函数,高度抽象化,简化流程 reduce方法 ************...
    pokerstarxy阅读 2,338评论 0 0
  • 高楼大厦煎熬夏, 银杏街头展盛装。 湖敬清波陪月夜, 天河直泻雨浇凉。
    木貞ma阅读 3,698评论 2 3
  • 今天的晨读,倡导的其实也是一种极简主义的理念。 1.不过,我觉得,舍弃大包背小包,也不能一概而论。背大包的未必就不...
    人间最美是清欢阅读 1,598评论 0 3

友情链接更多精彩内容