层叠自编码

对于多层稀疏自编码的层叠，我们这里也可以采用逐层训练的方法。
首先和往常一样训练第一层参数

Paste_Image.png

然后固定第一层参数不动（freeze），加一层稀疏自编码，训练第二层稀疏自编码参数。这其实就是把原始输入通过第一层得到特征，利用这个特征再训练一个“一层自编码”。

Paste_Image.png

重复这个过程，根据需要加足够的层。然后最后就是我们提取的高阶特征，我们利用这个特征训练分类。

Paste_Image.png

拼起来就是我们最终需要的网络。

Paste_Image.png

我们其实还可以对拼好的网络继续进行整体梯度下降学习（利用BP），也即同时调整所有的参数。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 学习笔记三
    五、Deep Learning的基本思想 假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，...
    dma_master阅读 5,646评论 1赞 2
  • 浅谈深度学习基础（上）
    第二个Topic讲深度学习，承接前面的《浅谈机器学习基础》。 深度学习简介 前面也提到过，机器学习的本质就是寻找最...
    我偏笑_NSNirvana阅读 15,868评论 7赞 49
  • 自编码
    一、什么是自编码 简单的自编码是一种三层神经网络模型，包含了数据输入层、隐藏层、输出重构层，同时它是一种无监督学习...
    MiracleJQ阅读 6,133评论 0赞 5
  • 自编码学习
    TensorFlow上实践基于自编码的One Class Learning 异常检测算法--Isolation F...
    jiandanjinxin阅读 11,851评论 0赞 10
  • 解析最接近人脑的智能学习机器--深度学习及并行化实现
    摘要 深度学习可以完成需要高度抽象特征的人工智能任务，如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多...
    蓝鸥科技阅读 5,096评论 1赞 14