本章内容:
表示学习的含义
"表示"的概念如何有助于深度框架的设计
学习算法如何在不同任务中共享统计信息
探讨表示学习成功的原因: 分布式表示,深度表示的理论优势,观测数据的基本成因
表示学习的含义
在机器学习中,到底是什么因素决定了一种表示比另一种表示更好呢?一般而言,一个好的表示可以使后续的学习任务更容易。选择什么表示通常取决于后续的学习任务。
我们可以将监督学习训练的前馈网络视为表示学习的一种形式。
前馈网络的监督训练并没有给学成的中间特征明确强加任何条件。附加条件可以用目标函数来实现。
表示学习提供了进行无监督学习和半监督学习的一种方法。
人类和动物能够从非常少的标注样本中学习。我们至今仍不知道这是如何做到的。有许多假说解释人类的卓越学习能力——例如,大脑可能使用了大量的分类器或者贝叶斯推断技术的集成。一种流行的假说是,大脑能够利用无监督学习和半监督学习。利用未标注数据有多种方式。在本章中,我们主要使用的假说是未标注数据可以学习出良好的表示。