前言
之前我发过MTCNN的原理分析，不了解的朋友可以看看深刻理解MTCNN原理, 超级详细，从零开始做人脸检测。Tensorflow2实现
授人以鱼，不如授人以渔，本文与其他代码分析的文章不一样，本文不会涉及原理过多的东西，原理参照我的上一片文章,主要以代码段的思路讲解，从最开始得到预训练权重后，怎么解析参数，怎么一步一步构建代码框架。可以执行获得最后结果，优化部分留给读者自行钻研！本文尽量不出现大段代码。基于Tensorflow2.0/keras。讲的主要是思路，别的框架读者一样可以写出来
我的参考代码：https://github.com/Luo-DH/MTCNN_test欢迎给我个star，如果你喜欢的话，欢迎给我点个赞，加个关注！！！
准备
- 我们需要pnet.h5, rnet.h5, onet.h5，我的github里面可以拿到这三个网络的预训练权重
- 还需要一个能打代码的东西，可以是记事本，可以是vim，可以是pycharm，推荐使用jupyter notebook,方便看到每一步的结果。
- 热情，毅力
开始
思路
- 环境搭建
- 整体流程
环境搭建
推荐大家使用虚拟环境，如果你是小白不了解虚拟环境，可以安装anaconda。我以前用的anaconda，后来用上virtualenvwrapper就再也不想用anaconda了。害！！！
- 搭建环境LINUX
# 新建一个文件夹
mkdir mtcnn_test
# 进入文件夹目录
cd mtcnn_test
# 查看文件夹的内容
ll # 是个空文件夹
# 创建虚拟环境
mkvirtualenv ENV_TF2
# 安装相关的包和模块
pip install tensorflow
pip install opencv-python
pip install numpy
pip install notebook
使用windows或者pycharm类似，只需要将相关的包和模块安装上就行.
- 整体流程
- 获取图片
- 传入pnet网络
- 将pnet网络获得的输出传入rnet网络
- 将rnet网络获得的输出传入onet网络
- 得到最后输出的矩形框
获取图片
import cv2
image = cv2.imread("./face.jpg")# 读取的图片最好是正方形，
# 虽然mtcnn支持不同尺寸的图片输入，我们开始
# 使用正方形比较直观
推荐使用opencv读取图片。主要是我个人用的习惯而已啦！当然可以使用其他方式读取图片。需要注意的是opencv读取的图片颜色通道是BGR，而我们需要获得RGB顺序通道的图片.
# 如果是用opencv读取图片，一定要走这一步
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
图像金字塔
论文中提到将图像进行不同比例的缩放，以便于获得不同大小的人脸，具体原因可以看我之前的博客，有详细说明。
factor = 0.709 比例因子，一般用这个比例进行缩放
- 获得缩放比例
factor = 0.709
image_width = image.shape[0]
scales = [(factor**i) for i in range(0, 10) if (factor**i)*image_width > 12]
- 将图片进行缩放
#创建一个列表，用于存放pnet输入所需要的图片
imgs = []
for scale in scales:
new_width = int(image.shape[0] * scale) # 必须是整数才能作为新图像的边长
new_height = int(image.shape[1] * scale)
# 进行缩放
img_ = cv2.resize(image.copy(), (new_width, new_height))
imgs.append(img_)
图片预处理
pnet_need_imgs = []
for img in imgs:
img = (img - 127.5)/127.5 # 归一化
# 归一化的具体原因此处不展开
# 修改图片的维数为四维(网络的输入必须是思维)
img = img.reshape(1, *img.shape)
# shape=(1, x, x, 3)
pnet_need_imgs.append(img)# 获得pnet的输入
目前为止我们已经得到了pnet的输入，另外一种获得方法可以参考我github上的代码，效率会更高。之后我们来构建pnet网络的结构和读取预训练权重
pnet网络初始化
这一部分不需要理解，就只是按照论文的网络架构读取，读者可以直接复制
import tensorflow as tf
print("Tensorflow Version: {}".format(tf.__version__)) # 2.0以上
def create_model():
"""定义PNet网络的架构"""
input = tf.keras.Input(shape=[None, None, 3])
x = tf.keras.layers.Conv2D(10, (3, 3), strides=1,padding='valid', name='conv1')(input)
x = tf.keras.layers.PReLU(shared_axes=[1, 2],name='PReLU1')(x)
x = tf.keras.layers.MaxPooling2D()(x)
x = tf.keras.layers.Conv2D(16, (3, 3), strides=1,padding='valid',name='conv2')(x)
x = tf.keras.layers.PReLU(shared_axes=[1, 2],name='PReLU2')(x)
x = tf.keras.layers.Conv2D(32, (3, 3),strides=1, padding='valid', name='conv3')(x)
x = tf.keras.layers.PReLU(shared_axes=[1, 2],name='PReLU3')(x)
classifier = tf.keras.layers.Conv2D(2, (1, 1),activation='softmax',name='conv4-1')(x)
bbox_regress = tf.keras.layers.Conv2D(4, (1, 1),name='conv4-2')(x)
model = tf.keras.models.Model([input], [classifier, bbox_regress])
return model
# 创建模型
model = create_model()
#model.summary() 可以看到网络的架构
model.load_weights("./pnet.h5", by_names=True)# 读取权重，输入pnet.h5的地址
模型已经处理完毕，只需要把图片一张一张输进去就可以了
输入网络预测
outs = [] # 用来存放输出的结果
for img in pnet_need_imgs:
# 一张一张图片输入
out = model.predict(img)
outs.append(out)
此时已经获得了pnet网络的输出结果，结果的具体含义参考我之前的博客，此处依旧不展开。下一步是解析这些输出结果
结果解析
out的内容包括了人脸的置信度还有对应的偏移量的值，我们只需要拿到置信度大于阈值的那个out，然后拿到这个out的偏移量，将偏移量加上坐标的值，就可以获得预测的人脸框
我用一个out举例子，上面得到的outs，只需要做个循环就可以得到结果
先获得人脸置信度
cls_prob = out[0][:, :, 1]
(x, y) = np.where(cls_prob > 0.5) # 假设阈值是0.5
scores= np.array(out[0][i, x, y, 1][np.newaxis, :].T) # 把阈值拿出来，后面需要用到
# 此时我们已经获得了大于阈值的位置
# 我们需要把对应位置的偏移量拿出来
offset = out[1][i, x, y]*12*(1/scale) # scale是这张图片对应的缩放比例，我要要把图像
# 还原成原来的比例，所以需要乘以(1/scale)
获得对应的矩形框的坐标
# 获得矩形框的坐标
bbx = np.array((y, x)).T
# 左上角的坐标
left_top = np.fix(((bbx * 2) + 0) * (1/scale))
# 右下角的坐标
right_down = np.fix(((bbx * 2) + 11) * (1/scale))
# 获得矩形框的坐标 [x1, y1, x2, y2]
boundingbox = np.concatenate((left_top, right_down), axis=1)
将矩形框的坐标与偏移量的坐标相加
#将矩形框和偏移量相加
boundingbox = boundingbox + offset
此时我们得到的矩形框坐标[x1,y1,x2,y2]就是解析过后的值，可是这个值仍然可能出现问题，比如出现负数或者x2>x1的情况，所以我们还需要简单处理一下
其他处理
# 把矩形框和得分放在一起，方便后面作非极大值抑制
boundingbox = np.concatenate((boundingbox, scores), axis=1)
处理就是将值简单的微调，都可以处理成函数，具体的函数可以参考我的代码，主要在src/Net.py中，主要是_nms(), _rect2square(), _trimming_frame()这三那个函数，就不放上来了，可以直接调用
rects = _rect2square(boundingbox)
rects = _trimming_frame(rects)
rects = _nms(rects, 0.7)
pnet总结
此时我们已经完全获取了pnet处理后得到的矩形框，读者可以用以下函数来查看所获得的矩形框
for rect in rects:
img_ = cv2.rectangle(image.copy(), (int(rect[0]), int(rect[1])), (int(rect[0]), int(rect[1])), (0, 255, 0), 4)
cv2.imshow("img_", img_)
cv2.waitKey(0)
cv2.destroyAllWIndows()
rnet部分
处理获得rnet输入所需要的图片
把pnet得到的矩形框在原图中截取出来
rnet_need_imgs = []
for rect in rects:
tmp_roi = image.copy()[int(rect[1]): int(rect[3]), \
int(rect[0]): int(rect[2])]
# resize成24x24大小
tmp_roi = cv2.resize(tmp_roi, (24, 24))
rnet_need_imgs.append(tmp_roi)
处理rnet网络结构
以下代码一样读者可以直接复制，基本没有可以修改的地方
def create_model(cls):
"""定义RNet网络的架构"""
input = tf.keras.Input(shape=[24, 24, 3])
x = tf.keras.layers.Conv2D(28, (3, 3), strides=1, padding='valid', name='conv1')(input)
x = tf.keras.layers.PReLU(shared_axes=[1, 2], name='prelu1')(x)
x = tf.keras.layers.MaxPooling2D(pool_size=3, strides=2, padding='same')(x)
x = tf.keras.layers.Conv2D(48, (3, 3), strides=1, padding='valid', name='conv2')(x)
x = tf.keras.layers.PReLU(shared_axes=[1, 2], name='prelu2')(x)
x = tf.keras.layers.MaxPooling2D(pool_size=3, strides=2)(x)
x = tf.keras.layers.Conv2D(64, (2, 2), strides=1, padding='valid', name='conv3')(x)
x = tf.keras.layers.PReLU(shared_axes=[1, 2], name='prelu3')(x)
x = tf.keras.layers.Permute((3, 2, 1))(x)
x = tf.keras.layers.Flatten()(x)
x = tf.keras.layers.Dense(128, name='conv4')(x)
x = tf.keras.layers.PReLU(name='prelu4')(x)
classifier = tf.keras.layers.Dense(2, activation='softmax', name='conv5-1')(x)
bbox_regress = tf.keras.layers.Dense(4, name='conv5-2')(x)
model = tf.keras.models.Model([input], [classifier, bbox_regress])
return model
model = create_model()
model.load_weights("./rnet.h5", by_names=True)
输入网络进行预测
out = model.predict(rnet_need_imgs)
rnet不需要循环放入网络，图片被一次传入了网络，得到了所有的结果
处理结果
classifier = out[0]
x = np.where(classifier[:, 1] > 0.6) # 阈值设定为0.6
获取boundingbox的值有点复杂
# 获得相应位置的offset值
offset = out[1]
offset = offset[x, None]
dx1 = np.array(offset[0])[:, :, 0]
dy1 = np.array(offset[0])[:, :, 1]
dx2 = np.array(offset[0])[:, :, 2]
dy2 = np.array(offset[0])[:, :, 3]
# 我们需要用到pnet获得的矩形框的值
pnet_got_rects = np.array(rects)
通过pnet的rects，我们可以拿到对应的宽和高，用于还原图大小
x1 = np.array(pnet_got_rects[x][:, 0])[np.newaxis, :].T
y1 = np.array(pnet_got_rects[x][:, 1])[np.newaxis, :].T
x2 = np.array(pnet_got_rects[x][:, 2])[np.newaxis, :].T
y2 = np.array(pnet_got_rects[x][:, 3])[np.newaxis, :].T
w = x2 - x1
h = y2 - y1
new_x1 = np.fix(x1 + dx1*w)
new_x2 = np.fix(x2 + dx2*w)
new_y1 = np.fix(y1 + dy1*h)
new_y2 = np.fix(y2 + dy2*h)
score = np.array(classifier[x, 1]).T
boundingbox = np.concatenate((new_x1,
new_y1,
new_x2,
new_y2,
score), axis=1)
此时，我们已经得到了rnet的输出结果，我们需和pnet相同的处理
rects = _rect2square(boundingbox)
rects = _trimming_frame(rects)
rects = _nms(rects, 0.7)
rnet总结
我们已经获得了rnet的处理结果，和上面方法一样，可以画出图片查看以下
onet部分
留给读者思考，处理方式和rnet差不多，有疑问可以和我联系！
结语
代码可能有很多不清晰的地方，建议读者多看几次，特别是关于mtcnn原理的解读，更加方便看懂此篇文章。如果有疑问欢迎与我联系，如果对你有帮助，可以给我点个赞，加个关注，谢谢！
