1.全连接网络
每个神经元都与前一层所有神经元相连
这是一个计算密集型结构，对于大量的输入和大量的特征这其实计算不友好
2.局部连接
每个神经元只与前一层的一部分神经元连接，这种简化的结构和生物神经学异曲同工，生物神经学家检测到了局部感受野。
3.卷积
对于图像输入，我们根据统计学可以有这样一个大胆而细腻的假设，图像的不同部分的统计特征是几乎一样的，也即我们在一个地方学习到的特征可以应用到全图。
基于这样一个原理，我们可以学习一个小特征，然后将其和整幅图作运算，就得到了我们的新特征。这个特征我们还应该考虑到空间信息，也即我们用2维特征做卷积运算，而不是一维。
816298-20161024230349687-611620533.gif
CNN.gif
4.池化
对于大图像来说，只做卷积资源消耗太大（变量太多），并且很容易出现过拟合。
这时我们可以把图像缩小，例如使用max-pooling或者average-pooling
这样做原理显而易见，我们把一个大图片由大缩小后同样能看出来它是个啥，我们希望计算机也具有这种能力。
另外，池化还给我们提供了一种平移不变形特征，这想必也是极好的。
Paste_Image.png
Pooling_schematic.gif
