42.常用的轻量级网络——ShuffleNet-v1

  • ShuffleNet基于MobileNet的group思想，将卷积操作限制到特定的输入通道
  • 而与之不同的是，ShuffleNet将输入的group进行打散，从而保证每个卷积核的感受野能够分散到不同group的输入中，增加了模型的学习能力

42.1 设计思想

  • 采用group conv减少大量参数
    • roup conv与DW conv存在相同的“信息流通不畅”问题
  • 采用channel shuffle解决上述问题
    • MobileNet中采用PW conv解决上述问题，SheffleNet中采用channel shuffle
  • 采用concat替换add操作
    • avg pooling和DW conv(s=2)会减小feature map的分辨率，采用concat增加通道数从而弥补分辨率减小而带来信息的损失

42.2 网络架构

  • MobileNet中1*1卷积的操作占据了约95%的计算量，所以将1*1也更改为group卷积，使得相比MobileNet的计算量大大减少。


  • group卷积与DW存在同样使“通道信息交流不畅”的问题，MobileNet中采用PW conv解决上述问题，SheffleNet中采用channel shuffle。

  • ShuffleNet的shuffle操作如图所示


  • avg pooling和DW conv(s=2)会减小feature map的分辨率，采用concat增加通道数从而弥补分辨率减小而带来信息的损失

    • 实验表明：多多使用通道(提升通道的使用率)，有助于提高小模型的准确率。


  • 网络结构：

大数据视频推荐：
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容