深度学习——cnn与全连接层的前向传播机制

神经网络在目前各种nlp与cv的场景都有广泛的应用。那么,Tensor流经过各个layer的机理是什么?

一.CNN

 cnn引入有两个需要注意的概念,一是滑动窗口的机制,另一个是多个过滤器(滑动窗口)的概念。假设滑动窗口的长和宽是mxn,filter的个数是k.在每个滑动窗口的作用域就是mxn的矩阵覆盖到的区域


作用域中的运算方式就是卷积。卷积的物理意义,相当于两段波逐元素相乘激起的共同的漩涡,如果矩阵中有零元素,则可以过滤掉对应位置上的元素。


因此,每个滑动窗口矩阵可以叫作滤波器,也是取了卷积的物理意义。

最后,cnn的计算公式可以表示为:


二.全连接

cnn理解之后全连接层就比校简单了。全连接只有一个变量Tensor,weight矩阵与input矩阵相乘可得Output矩阵加个偏置就可以得到。其几何意义可以解释为:

将input矩阵看作空间中的向量,矩阵相乘相当于对该向量作基于weight矩阵的坐标系变换。


前向机制说明比较清楚的,是Notes on convolutional Networks这篇文章,感兴趣的同学可以下载阅读。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容