平均滑动模型

  深度网络的最终计算是求出w,即每个节点的权重。计算w的方法通常是通过损失函数进行反向传播,最终调整w的值, 这里就出现一个问题,即 噪音点会使得最终计算出w造成偏差。

   举个例子,通过n轮学习后,w的值稳定为1. 突然经过下一轮学习,既n+1轮后,w的值变成了10。 说明很可能第n+1轮的数据是强噪音,因为这条数据让稳定值产生了比较大的波动!

  平均滑动模型就是为了避免这种情况。我们先来直观了解下,什么是平均滑动模型: 最近的n条数据的平均值!   

举个例子,一开始有10条数据

 1  1  1  1  1  1  1  1  1  1 


他们的平均值很是明显为1,现在加入一个新的数据,10:

 1  1  1  1  1  1  1  1  1  10

由于只取最近n条,我们将n就定为10,那么, 原来的第1条数据,就被删除了,现在,最近10条的平均值变成了:(9+10)/10=1.9

作用已经很明显了,再用这个例子来说回我们的w,前10次w的平均值为1,当第11次w的值变为10时,通过平均滑动模型,将w从10拉回到1.9,将这个噪音的影响降到最低! 这就是平均滑动模型的意义。

有tensorflow中,并不是用的这种公式,然而想要达到的效果是一致的。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 关于Mongodb的全面总结 MongoDB的内部构造《MongoDB The Definitive Guide》...
    中v中阅读 32,048评论 2 89
  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 11,196评论 6 13
  • 它 高高在上 像极了一个害羞而又灵动的姑娘 去留无意间 天真的点缀着蓝天的脸庞 它 悠闲自得 亦如一个风流兼具才气...
    啊Ben阅读 243评论 0 2
  • 今天是我们高中同学小聚,7个人讨论着工作、家庭、生娃,这些话题离我有点远,所以我大部分的时间都在吃。活跃的气氛下,...
    非宁静无以致远_渊宁阅读 243评论 0 2
  • 如果我们的脑海中有了一个概念,那么不论它客观是否存在,它都存在于我们的主观世界中,你会发现,有这个概念前,这个世...
    不劳无获阅读 223评论 0 1