持续更新
global average pooling
https://stats.stackexchange.com/questions/257321/what-is-global-max-pooling-layer-and-what-is-its-advantage-over-maxpooling-layer
image.png
左边的是基本残差结构，右边的是带bottle neck 的残差结构。
左边F(x)直接和输出连接，在反向传播的时候，可以得到更多的梯度更新，有利于避免深度网络中梯度消失的问题，有利于训练更深的网络。
右边输入在经过这一层卷积的时候先通过11 bottle neck减少特征的层数，之后再通过33有利于减少计算量，最后再通过1*1恢复。
- 完全预激活残差单元(full pre-activation Residual Unit)
来源于 Identity Mappings in Deep Residual Networks
image.png
和原始的残差单元相比，RELU和BN的放置顺序发生变换，准确度更好。
