对Inception系列的三篇论文，5个模型进行一个浅显的总结对比。来看看系列之首的第一个参考文献——we need to go deeper， 这在这个系列中有两个意思，从直接意义上，GoogLeNet有22层参数层，从另一个维度上，Inception使用了分组卷积对模型进行加宽，用不同尺寸的核分路进行卷积后拼接起来，这也是Inception系列最大的特色。
GoogLeNet引用的表情包
2014 Inception-v1：多支路卷积
因为不同尺寸的卷积核（蓝色框）拥有不同大小的感受野，所以更局部或更全局的特征都可以被考虑到。 左边朴素的做法在模型加深后因为不断的拼接通道数会大大增加，而黄色框表示的1*1卷积可以用来限制不断拼接增多的通道数。
而整个模型就是通过对这样的基础模块进行堆叠得到的，这一点和VGG类似。和其他深度神经网络一样GoogLeNet面临着梯度消亡问题，批量正则化是在V2才被引入的，V1最终的结果由最终的分类器和两个辅助分类器的结果加权求和得到，在原论文中赋予给了每个辅助分类器0.3的权重.
Inception模块优化时间/空间复杂度：https://zhuanlan.zhihu.com/p/31575074
2015 Inception-v2,v3：
Rethinking the Inception Architecture for Computer Vision：
分享了四项基本的设计原则：
- 避免representational bottlenecks ，尤其是在浅层。
- 非线性可以加速训练，因为高维的表征更容易被处理。
- 在空间整合（卷积？）之前降维不会影像表现。
- 平衡宽度和深度。
引入Batch Normalization(BN)技术，两个分解 减少参数量：
- 把大卷积核分解为连续的小卷积
- 把对称的卷积核分解为不对称的卷积，但是这不宜在浅层使用，作者在实践中发现特征图尺寸在12和20之间时，不对称分解的表现很好
5×5卷积分解为两个3×3卷积
不对称卷积（空间分解）
分解的目的是在提升表现的同时尽量降低计算量，V2对比V1加深到了42层，但是计算成本只提升为2.5倍。
V3：
对比V2应用了这几个改进：
RMSProp 是一种优化算法
Label Smoothing 正则化方法
V2对根茎部分的第一个7*7卷积层进行分解，
在辅助分类器中使用了批量正则化，
2016 Inception-v4, Inception-ResNet：
Inception-v4：
Inception-ResNet：
Inception-ResNet, 和V4的区别主要在于红色模块，详见论文
引入残差连接, 激活缩放用于防止模型死亡
更快收敛， 但是最终的表现差不多，这里不得不提到Inception模块的一个细节：
统一尺度下的基本模块，1*1 卷积提供了浅层的特征经过很少的变化就能直达深层的路径，而这样特征复用的思想和resnet其实是很类似的
