34层残差网络
image.png
残差网内部如下:
image.png
DenseNet如下
image.png
DenseNet的主体框架（在每个Dense Block内部采用了密集连接，而在相邻的Dense Block之间采用的时Conv+Pool的方式）
image.png
DenseNet的Dense Block(一个5层(L=5)的Dense Block，增长率（growth rate k=4))
创新点：
对比于ResNet的Residual Block，创新性地提出Dense Block，在每一个Dense Block中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。通过密集连接，缓解梯度消失问题，加强特征传播，鼓励特征复用，极大的减少了参数量。
在处理特征图数量或尺寸不匹配的问题上，ResNet采用零填充或者使用1x1的Conv来扩充特征图数量，而DenseNet是在两个Dense Block之间使用Batch+1x1Conv+2x2AvgPool作为transition layer的方式来匹配特征图的尺寸。 这样就充分利用了学习的特征图，而不会使用零填充来增加不必要的外在噪声，或者使用1x1Conv+stride=2来采样已学习到的特征（stride=2会丢失部分学习的特征）。
