8.1 Restricted Boltzmann Machine

Geoff Hinton发明

用途:降低维度, 分类, 回归, 特征学习

非监督学习(unsupervised learning),不知道数据的标签

activation f((weight w * input x) + bias b ) = output a

多个输入:

多个隐藏层:

Reconstructions:

隐藏层变成输入层,反向更新,用老的权重和新的bias:

回到原始输入层: 算出的值跟原始输入层的值比较, 最小化error, 接着迭代更新: 

 正向更新: 用输入预测神经元的activation, 也就是输出的概率, 在给定的权重下: p(a|x; w) 

反向更新的时候: activation被输入到网络里面,来预测原始的数据X, RBM尝试估计X的概率, 对于给定的activation a: p(x|a; w)

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容