40.常用的轻量级网络——MobileNet-v2

  • 是对MobileNet-V1的改进,同样是一个轻量化卷积神经网络

40.1 设计思想

  • 采用Inverted residuals
    • 为了保证网络可以提取更多的特征,在residual block中第一个1*1 Conv和3*3 DW Conv之前进行通道扩充
  • Linear bottlenecks
    • 为了避免Relu对特征的破坏,在residual block的Eltwise sum之前的那个 1*1 Conv 不再采用Relu
  • stride=2的conv不使用shot-cot,stride=1的conv使用shot-cut

40.2 网络架构

  • Inverted residuals
    • ResNet中Residuals block先经过1*1的Conv layer,把feature map的通道数降下来,再经过3*3 Conv layer,最后经过一个1*1 的Conv layer,将feature map 通道数再“扩张”回去
    • 即采用先压缩,后扩张的方式。而 inverted residuals采用先扩张,后压缩的方式。
    • MobileNet采用DW conv提取特征,由于DW conv本身提取的特征数就少,再经过传统residuals block进行“压缩”,此时提取的特征数会更少,因此inverted residuals对其进行“扩张”,保证网络可以提取更多的特征


  • Linear bottlenecks
    • ReLu激活函数会破坏特征
    • ReLu对于负的输入,输出全为0,而本来DW conv特征通道已经被“压缩”,再经过ReLu的话,又会损失一部分特征
    • 采用Linear,目的是防止Relu破坏特征


  • shortcut
    • stride=2的conv不使用shot-cot,stride=1的conv使用shot-cut


  • 网络架构

大数据视频推荐:
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐:
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能:深度学习入门到精通

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容