CNN张量尺寸、参数量、计算量计算方式

在设计CNN网络时，一般会考虑模型的参数量和计算量，模型参数量决定了计算设备需要的内存或显存，模型计算量决定了网络训练的速度。

本文主要包括以下主题内容：

张量的尺寸计算方式
参数量计算方式
计算量计算方式

在此之前先定义一个简单网络模型，后续计算以此模型做例子。
模型定义的代码以及模型的概要情况如下：

from tensorflow import keras
from tensorflow.keras import models
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Reshape

model = models.Sequential()
# 定义输入层 输入图片为100*100像素
model.add(Reshape((100, 100, 1), input_shape=(100, 100)))
# 进行三次卷积和池化
model.add(Conv2D(filters=32, kernel_size=(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(filters=64, kernel_size=(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(filters=128, kernel_size=(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
# 进行flatten
model.add(Flatten())
# 添加全连接层
model.add(Dense(units=50, activation='relu'))
# 再添加一层全连接层作为输出层
model.add(Dense(units=2, activation='sigmoid'))
model.summary()

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
reshape (Reshape)            (None, 100, 100, 1)       0         
_________________________________________________________________
conv2d (Conv2D)              (None, 98, 98, 32)        320       
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 49, 49, 32)        0         
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 47, 47, 64)        18496     
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 23, 23, 64)        0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 21, 21, 128)       73856     
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 10, 10, 128)       0         
_________________________________________________________________
flatten (Flatten)            (None, 12800)             0         
_________________________________________________________________
dense (Dense)                (None, 50)                640050    
_________________________________________________________________
dense_1 (Dense)              (None, 2)                 102       
=================================================================
Total params: 732,824
Trainable params: 732,824
Non-trainable params: 0
_________________________________________________________________

模型接受一张100*100像素的单通道图片，然后经过三次卷积和池化，再接一层全连接层，最后是输出层。其中每层卷积层kernel size都是3*3，每层池化层pool size都是2*2，还有一些默认信息如下：
卷积层：

strides: 1
padding: 0

池化层：

strides: 2
padding: 0

1. 张量的尺寸计算方式

（1）卷积层的张量输出尺寸：

$H_o = \frac{H_i - K + 2P}{S} + 1$

$W_o = \frac{W_i - K + 2P}{S} + 1$

其中 $H_o$ 、 $W_o$ 分别代表输出张量的高和宽， $H_i$ 和 $W_i$ 分别代表输入张量的高和宽， $K$ 是卷积核大小(kernel size)， $P$ 是填充数(padding)， $S$ 是移动的步长(strides)。

比如我们计算上面定义的模型的conv2d层输出的高：
图像输入的高为100、卷积核大小为3*3、步长为1、填充数为0，所以有
$H_o = \frac{100 - 3 + 2*0}{1} + 1=98$

（2）池化层的张量输出尺寸：

$H_o = \frac{H_i - P}{S} + 1$

$W_o = \frac{W_i - P}{S} + 1$

其中 $H_o$ 、 $W_o$ 分别代表输出张量的高和宽， $H_i$ 和 $W_i$ 分别代表输入张量的高和宽， $P$ 是池化层尺寸(pool size)， $S$ 是移动的步长(strides)。

比如我们计算上面定义的模型的max_pooling2d层输出的高：
图像输入的高为98、池化层尺寸为2*2、步长为2、填充数为0，所以有
$H_o = \frac{98 - 2}{2} + 1=49$

2. 参数量计算方式

（1）卷积层参数量计算：

$P = K^2 \times D \times F + F = (K^2 \times D + 1) \times F$

其中 $P$ 分别代表参数量(parameters)， $K$ 是卷积核大小(kernel size)， $F$ 是卷积核数量(filters)， $D$ 是卷积核的深度(depth)。
公式可以理解为：
一层卷积层的参数量 $=$ 卷积核包含的参数量 $+$ bias参数量
而一个卷积核包含的参数量为： $K^2 \times D$
有 $F$ 个卷积核，所以卷积核参数量为： $K^2 \times D \times F$
每一个卷积核的输出最后都接有一个bias，所以bias参数量即为卷积核数量 $F$
（PS: 这里考虑的卷积核是正方形的，所以是 $K^2$ ，如果不是正方形则那么就是宽乘高： $W_kH_k$ ）

比如我们计算上面定义的模型的conv2d层的参数量：
卷积核大小为3*3、卷积核深度是1、conv2d层有32个卷积核，所以有
$P =(3^2\times1+ 1)\times32=320$

再比如我们计算上面定义的模型的conv2d_1层的参数量：
卷积核大小为3*3、卷积核深度是32、conv2d_1层有64个卷积核，所以有
$P =(3^2\times32+ 1)\times64=18496$
这里可能会有疑问，为什么卷积核深度就为32了呢？这里解析一下：
我们知道卷积核是有三个维度的，包含 $W、H、D$ ，但是我们定义卷积核的时候一般都是只指定它的 $W$ 和 $H$ ，而不用管 $D$ ，这是因为卷积核深度 $D$ 是由前面输入的张量数量决定的。比如第一层卷积层，如果输入接收的是RGB图片，那么卷积核的深度 $D$ 就是3；像这里模型中conv2d_1层的上一层max_pooling2d层输出的张量数量为32，所以conv2d_1层卷积核的深度 $D$ 就是32。
一开始接触或许难以理解，可以根据下面网站的CNN可视化图来慢慢体会
https://poloclub.github.io/cnn-explainer/

一些个人理解：
不管一开始输入图像的channel是多少，经过第一层卷积层后，最后输出的feature map的深度都变成了1（因为都被求和了），feature map数量为卷积核数量，对于再下一层的卷积层，可以把输入的feature map数量理解为输入的channel数量，所以卷积核的深度等于输入的feature map数量。

（2）池化层参数量计算：

池化层所涉及的参数都是超参数，所以认为实际参数量为0

（3）全连接层参数量计算：

$P = U \times I + U = (I + 1) \times U$

其中 $P$ 分别代表参数量(parameters)， $U$ 是全连接层神经元数量(units)， $I$ 是输入大小(inputs)。
公式可以理解为：
全连接层参数量 $=$ 做全连接相乘的权重数量 $+$ bias数量；
而每个神经元都接有一个bias，所以bias数量等于 $U$

比如我们计算上面定义的模型的dense层的参数量：
输入大小为12800、dense层有50个神经元，所以有
$P =(12800+ 1)\times50= 640050$

3. 计算量计算方式

这里CNN的计算量是以计算机做乘法或加法的次数为单位（比如卷积过程中也就是点乘再求和这两种操作）。

（1）卷积层计算量计算：

为了便于理解，我们先考虑卷积层输出结果中单个pixel的计算量，由于这个pixel的结果其实就是经过卷积操作，然后再加上bias得到的，那么可以认为：
单个pixel计算量 $=$ 卷积操作(点乘和求和)计算量 $+$ bias计算量
也就是：
单个pixel计算量 $=$ 点乘计算量 $+$ 求和计算量 $+$ 1 （加一个bias就是一次加法，计算量为1）

所以单个pixel计算量公式为：
$C = (D \times K^2) + (D \times K^2 - 1) + 1 = 2DK^2$
(PS: N个数相加，加的次数为N-1)
其中 $C$ 表示计算量， $D$ 和 $K$ 分别表示卷积核的深度(depth)和尺寸(kernel size)，同样这里也只考虑了卷积核尺寸为正方形的情况，如果不是正方形拆开考虑即可( $W_kH_k$ )。

由单个pixel计算量拓展到整个卷积层计算量公式为：
$C = 2DK^2 \times H_o \times W_o \times F$
其中 $C$ 表示计算量， $D、K、F$ 分别表示卷积核的深度(depth)和尺寸(kernel size)和数量(filters)， $H_o、W_o$ 表示输出feature map的尺寸。

（2）全连接层计算量计算：

计算过程和上面卷积层的类似，都是：点乘计算量 $+$ 求和计算量 $+$ bias计算量。

单个神经元的计算公式为：
$C = I + (I - 1) + 1 = 2I$
其中 $C$ 表示计算量， $I$ 是输入大小。

拓展到整个全连接层计算公式：
$C = 2IU$
其中 $C$ 表示计算量， $I$ 是输入大小，U为该层神经元数量。