EfficientNet模型的完整细节

本文介绍了一种高效的网络模型EfficientNet,并分析了 EfficientNet B0 至B7的网络结构之间的差异。谷歌AI在这篇文章中:https://arxiv.org/abs/1905.11946介绍了它。一般来说,模型设计得太宽,太深,或者分辨率太高。刚开始的时候,增加这些特性是有用的,但很快就会饱和,然后模型的参数会很多,因而效率不高。在EfficientNet中,这些特性是按更有原则的方式扩展的,也就是说,一切都是逐渐增加的。

ImageNet Accuracy:

共同之处

首先,任何网络都以它为主干,在此之后,所有对架构的实验都以它为开始,这在所有8个模型和最后的层中都是一样的:

之后,每个主干包含7个block。这些block还有不同数量的子block,这些子block的数量随着EfficientNetB0到EfficientNetB7而增加。EfficientNet-B0的总层数,总数是237层,而EfficientNet-B7的总数是813层,所有这些层都可以由下面的5个模块和上面的主干组成。

我们使用这5个模块来构建整个结构。

模块1 — 这是子block的起点。

模块2 — 此模块用于除第一个模块外的所有7个主要模块的第一个子block的起点。

模块3 — 它作为跳跃连接到所有的子block。

模块4 — 用于将跳跃连接合并到第一个子block中。

模块5 — 每个子block都以跳跃连接的方式连接到之前的子block,并使用此模块进行组合。

这些模块被进一步组合成子block,这些子block将在block中以某种方式使用。

子block1 — 它仅用于第一个block中的第一个子block。

子block2 — 它用作所有其他block中的第一个子block。

子block3 — 用于所有block中除第一个外的任何子block。

模型结构

EfficientNet-B0

EfficientNet-B1

EfficientNet-B2

它的架构与上面的模型相同,唯一的区别是特征图(通道)的数量不同,增加了参数的数量。

EfficientNet-B3

EfficientNet-B4

EfficientNet-B5

EfficientNet-B6

EfficientNet-B7

很容易看出各个模型之间的差异,他们逐渐增加了子block的数量。下面的表表示了EfficientNet-B0中卷积核大小以及分辨率、通道和层。

此表已包含在原始论文中。对于整个模型族来说,分辨率是一样的。我不确定卷积核的大小是否改变了。层的数量已经在上面的图中显示了。通道数量是不同的,它是根据从每个型号的摘要中看到的信息计算出来的,如下所示:

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
禁止转载,如需转载请通过简信或评论联系作者。

推荐阅读更多精彩内容