在笔者大概2010年刚开始接触神经网络的时候倒2013年这段时间，人工智能机器学习属于比较沉寂的时候。神经网络算法，当时也只是大家发论文。拿到学位做毕设的利器当时我们并不觉得神经网络，这个算法能多大程度的？改变技术和应用。然而深度学习神经网络的出现大大的打了我们的脸。
我也想这方面很大的一个进步是卷积神经网络。因为卷积神经网络的局部感受野+权值共享的设计思想能够让神经网络不在训练那么多的，多到机器很难处理的参数。
另外，还有反向传播的方法。虽然链式求导大一的同学都会做。但是反向传播方法确实有非常强的实用价值是深度神经网络的计算成为了可能。
卷积的概念，我认为来源于电子信息领域。在信息处理与系统课上，我们就学过卷积。卷积，简单来说其实就是两个函数的乘积。可能这样说不是很准确。但是，更加准确的说法。在电子工程领域，它其实是一个信号（其实也就是函数）叠加另外一个信号后产生的效果。
因此FC可视作模型表示能力的“防火墙”，特别是在源域与目标域差异较大的情况下，FC可保持较大的模型capacity从而保证模型表示能力的迁移。（冗余的参数并不一无是处。）
在卷积神经网络尚未火热的年代，人们使用haar/lbp + adaboost级连的组合方式检测人脸，hog+svm的组合方式检测行人。这种传统的目标检测方法一个认知上的优势就是: 模块的功能明确，划分得很清晰，符合人们的理解方式。其中，haar，lbp，hog等手工设计的特征提取算子用于提取特征，adaboost，svm用于对提取的特征分类。
而早期的全连接神经网络，就是属于用于对提取的特征进行分类的模块，我们也可以同样将神经网络替换掉adaboost，svm用于分类。
后来将神经网络用于图像分类中，面对早期的小分辨率图片，我们依旧可以使用特征提取+神经网络分类的模式，也可以直接将每个像素点作为特征输入用于神经网络的分类。但面对后期的大分辨率图像，如果依旧使用逐像素点输入的方式，很明显将会导致全连接中的权值过于稀疏，造成模型训练的困难。
而卷积神经网络中conv+relu(早期为sigmoid)+pooling(以下称三剑客)的组合，不仅可以替代手工设计特征算子的繁琐，而且局部感受野+权值共享的设计思想也能避免全连接网络中的种种弊端。此时人们将三剑客的组合视为特征提取的过程，如果按照早期人们特征提取+分类的设计思路，那么分类使用全连接的设计方式，就可以刚好实现了一个end-to-end的架构，也即早起卷积神经网络的原型。
但必须明白的是，虽然模型完成了一个end-to-end的设计架构，可以直接用于训练和分类，但在人们的认知上，特征提取和分类依然是分开的，也就是说三剑客用于特征提取，全连接用于分类。
后来随着更优秀分类网络的出现(alexnet，vgg等)，人们不再仅仅满足于分类准确率的提升，面对动辄两三百M的模型，人们思考能否减少模型的大小。人们通过研究发现，在包含全连接的网络中，全连接的参数占据了所有参数中的大部分比例，这样使得精简全连接参数变得刻不容缓。
于是一部分优秀的人们想到了使用svd等方式减少参数，另一部分优秀的人们开始思考: 是否真的需要使用全连接层，或者有无可以替代全连接层的方法？
于是就出现了如nin，squeezenet中，直接使用global average pooling的方式，直接替代全连接层。人们发现不使用全连接层，模型的检准率并没有降低，而模型的大小却极大的减少(当然了，也包括以上网络中其他模块优化的功劳，如1*1卷积的使用等)。
另一方面，同样在nin，以及用于图像分类的fcn中，人们发现使用1*1卷积，也可以达到与全连接层同样的功效，依然能保证同样的检准率
