深度信念网络就是受限玻尔兹曼机的堆叠，并采用一种贪心的方式训练。
受限玻尔兹曼机（RBM）
除了前传，RBM以一种无监督的方式通过自身来重建数据。如上图所示，在重建阶段，第一个隐藏层的激活状态变成了反向传递过程中的输入。它们与每个连接边相同的权重相乘，就像x在前向传递的过程中随着权重调节一样。这些乘积的和在每个可见节点处又与可见层的偏置项相加，这些运算的输出就是一次重建，也就是对原始输入的一个逼近。
a) 受限玻尔兹曼机，b) 深度信念网络，c) 深度玻尔兹曼机。其中带箭头表示有向图，无箭头表示无向图
深度信念网络是一种深层的概率有向图模型，其图结构由多层的节点构成。网络的最底层为可观测变量，其它层节点都为隐变量。最顶部的连接是无向的，其他层之间的连接是有向的。它的目的主要在获取可观测变量下，推断未知变量的状态，并调整隐藏状态以尽可能重构出可观测数据。
