1. 论文亮点
这篇论文处理的问题和上一篇《Backpropagation applied to handwritten zip code recognition》相同,使用了相同的数据集,训练集和测试集划分也完全相同,关于数据集的详细信息在论文中有介绍。
这篇论文的主要亮点是网络结构的设计,如下图所示:
作者提到,这次的网络模型是上两篇论文
《Generalization and Network Design Strategies 》
《Backpropagation applied to handwritten zip code recognition》
中提出模型的进一步扩展。网络结构特点如下:
网络的输入图像大小由之前的16x16变成28x28;
网络包含了4个隐藏层H1—H4;
H1是kernel=5x5,stride=1的卷积层,得到4个24x24大小的feature map;
H2是kernel=2x2,stride=2的平均池化层,得到4个12x12大小的feature map;
H3是kernel=5x5,stride=1的卷积层,得到12个8x8大小的feature map;
-
注意,H3每一个feature map的卷积输入层并不是H2中所有的4个feature map,而是只使用了其中的1-2个feature map,具体的设置如下表所示:
H4是kernel=2x2,stride=2的平均池化层,得到12个4x4大小的feature map;
H4直接通过一个全连接到输出层,丢掉了之前模型中的全连接隐藏层(猜想是为了减小模型参数数量);
这次提出的CNN网络结构(当时还没这么称呼)的层次结构已经和经典CNN网络如LeNet-5、AlexNet等基本一致了,即交替的卷积层—池化层—卷积层—池化层,只不过这篇论文中的池化层是平均池化,现在普遍采用的是最大池化。
2. 总结
和前面两篇论文相比,这篇论文的工作量比较少,唯一的亮点就是继续改进的CNN分类网络的层级架构,朝着现代CNN网络架构的方向逐渐靠近,属于一个探索的过渡阶段。