假设卷积核大小为,输入通道数为,输出通道数为,输出特征图的宽和高分别为W和H,则:
- conv标准卷积的参数量为
- conv标准卷积的操作个数为
MobileNetV1
- 深度可分离卷积的使用:depthwise是输入通道之间的信息融合,pointwise是输出通道之间的信息融合。
- Global average pooling的使用
- 使用步长为2的卷积代替Maxpool+conv:使得参数数量不变,计算量变为原来的1/4。
MobileNetV2
- 引入残差结构,先升维再降维,增强梯度的传播,显著减少推理期间所占的内存。
- 去掉Narrow layer 后面的relu,保留特征的多样性,增强网络的表征能力
- 整个网络是全卷积的,使得模型可以适应于不同尺寸的图像;使用RELU6作为激活函数,使得模型在低精度计算下具有更强的鲁棒性