稀疏自编码

自编码
非监督学习的一种

Paste_Image.png

让输出等于输入


Paste_Image.png

稀疏自编码（稀疏限制）
使得大部分隐藏神经元输出接近0！
为了实现这一目的，我们在代价函数中引入相对熵

Paste_Image.png
Paste_Image.png
Paste_Image.png

这样训练出来的网络隐藏元的输出就会和我们的期待接近，设置大多数ρ接近0就可以实现稀疏自编码

查看自编码所检测的特征
有多少个隐藏神经元就会有特征数量
实际上是检测每个隐藏神经元的系数


大致就是检查边缘

Paste_Image.png

你需要知道的术语：
激活
稀疏

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

  • 学习笔记三
    五、Deep Learning的基本思想 假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，...
    dma_master阅读 1,893评论 1赞 2
  • 解析最接近人脑的智能学习机器--深度学习及并行化实现
    摘要 深度学习可以完成需要高度抽象特征的人工智能任务，如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多...
    蓝鸥科技阅读 1,384评论 1赞 14
  • 自编码
    一、什么是自编码 简单的自编码是一种三层神经网络模型，包含了数据输入层、隐藏层、输出重构层，同时它是一种无监督学习...
    MiracleJQ阅读 2,116评论 0赞 5
  • 长相思兮长相忆
    时光太疯狂，不留一丝的仁慈，经年之后，却是蹉跎半生 已是春日，忽然想问那桃花是否盛开？那洛阳城内春光是否依然灿烂，...
    见说世间离别苦阅读 354评论 0赞 0
  • 安卓奥利奥有了PWAs的味道
    原文地址 新的安卓版本8，名字是奥利奥，“热量”比较高，终于有了PWAs（progressive web apps...
    5516f553a4ca阅读 420评论 0赞 0

友情链接更多精彩内容