简介：
openVino 中文官网
github项目: OpenVINO-YOLOV4
github项目：Yolo v4, v3 and v2 for Windows and Linux
1.安装openVino推理引擎
下载地址：openVino 中文官网
https://docs.openvinotoolkit.org/cn/latest/index.html
注意：github项目:OpenVINO-YOLOV4这个项目要转换YOLO V4版本的权重文件的话，只能用openVino2021.3或者2021.4版本的，低于这个版本的openvino是转换不了的！！！（今天2021年4月9日，现在2021.3 2021.4版本都有）
后面直接一路安装即可。
2. 下载OpenVINO-YOLOV4项目代码
3.下载yolov4.weights
4.转换
4.1 yolov4.weights文件放到OpenVino-YOLOV4项目下
4.2 yolov4.weights文件格式转为.pb格式
打开命令行，进入到OpenVino-YOLOV4项目目录下，输入以下命令装换yolov4.weights为.pb文件
python convert_weights_pb.py --class_names cfg/coco.names --weights_file yolov4.weights --data_format NHWC
4.3 .pb格式文件转换为供OpenVINO使用的.bin .xml文件
-
启动OpenVino 临时环境
在命令行进入openvino_2021\bin\setupvars.bat所在目录，输入setupvars.bat启动OpenVino临时环境。例如，我的安装路径是：G:\openVINO\install\openvino_2021\bin，则按下面操作
安装路径
启动临时环境 - 把.pb格式的文件转为.bin和.xml文件
回到OpenVino-YOLOV4路径下（因为刚刚转换的frozen_darknet_yolov4_model.pb文件在此目录下），输入
python "G:\openVINO\install\openvino_2021.3.394\deployment_tools\model_optimizer\mo.py" --input_model frozen_darknet_yolov4_model.pb --transformations_config yolov4.json --batch 1 --reverse_input_channels
"G:\openVINO\install\openvino_2021.3.394\deployment_tools\model_optimizer\mo.py"是mo.py文件的路径（如果你的OpenVino安装在其他盘或者是其他版本的，把前面的G:\openVINO\install\openvino_2021.3.394换为对应的就可以了）
转换成功后将会有两个文件生成如下
-
注：我这里使用的环境是tensorflow1.15.5和numpy1.18.5,numpy的版本是1.20的话会报错
在这里插入图片描述把numpy降低为1.19或1.18就不会有这个问题了
在这里插入图片描述
5. 在OpenVino的推理引擎中的使用
在OpenVino-YOLOV4项目的pythondemo\2021.3目录下有个object_detection_demo_yolov3_async.py文件，这是一个demo文件可以调用刚刚转换的.bin 和 .xml文件给OpenVINO推理引擎用。
命令行下输入
python pythondemo\2021.3\object_detection_demo_yolov3_async.py -i G:\\a.avi -m frozen_darknet_yolov4_model.xml -d CPU
- -i input 输入的图片视频路径（我自己测试时只能检测视频）
- -d device ，可选CPU 或GPU
- -m model ，模型文件.xml
6. 测试
测试视频
链接: https://pan.baidu.com/s/1i7Edyn2VeLI3FADidWC0AA 提取码: n2he
测试条件：
- Windows 10
- cpu i5-10400 @2.9GHz
- cuda 10.1 + nvidia Quadro M4000
- Intel Graphics 630
原模型的测试
-
原模型在cpu上的运行测试，fps 在0.3左右,cpu已经100%跑满
在这里插入图片描述 -
原模型yolov4.weights在Quadro M4000 + cuda10.1上的性能，fps在2.5左右，但是GPU的利用率才有20%左右
在这里插入图片描述
openvino转换后的模型实际测试
-
在CPU上运行，fps 3.2左右
在这里插入图片描述 -
在intel GPU上运行 fps3.0左右
在这里插入图片描述
总结：
从上面的结果看使用openvino加速的效果还是非常明显的，原模型在cpu上运行速度才有0.25fps，但是经过openvino优化后在cpu上运行速度可以到3.0fps左右的速度，快乐近12倍。经过优化后在intel CPU上运行的速度和在intel GPU上运行的速度基本没有差别，可能是GPU本身性能不怎么样，也可能是intel的GPU对深度学习类的计算加速效果没有那么好。
