分为2部分:Separable Conv 以及 Point-wise Conv.
同样的,从[12,12,3]的input feature map到[8,8,256]的output feature map,需要3个[5,5,1]的卷积核和256个[1,1,3]的卷积核。参数量为3 x 5 x 5 x 1 + 256 x 1 x 1 x 3 = 843,乘法次数为3 x 5 x 5 x 1 x 8 x 8 + 256 x 1 x 1 x 3 x 8 x 8 = 53952(FLOPs)。
如此一来,depth-wise conv的FLOPs只有普通卷积的~4.4%,EfficientNet的参数量少也就不足为奇了。