基于ncnn 的yolov5,nanodet实现

1.先安装好opencv

2.将模型.pth转化成onnx文件

yolov5的github上有具体的方法

3.安装onnx-simplifier

3.1: pip install onnx-simplifier (具体该工具的作用自行百度)

3.2: python -m onnxsim ./yolov5.onnx ./yolo5-sim.onnx (简化转换得到的onnx)

4. ncnn代码库

4.1ncnn代码库的编译

ncnn编译

make -j4改成make install就能生成install文件夹,方便其他的工程调用


4.2模型转换

基于build文件夹

cd tools/onnx

./onnx2ncnn your-yolov5s-path/yolov5-sim.onnx the-path-to-save/yolov5-sim.param the-path-to-save/yolov5-sim.bin

运行到该步骤时会出现下面的问题,问题出现的原因时下图中的split和crop网络层高在ncnn中没有定义的缘故,我们需要做的是将这个网络层消除:

error
error


5.ncnn格式模型修改

5.1 去掉不支持的网络层

打开转换得到的yolov5-sim.param文件

前几行的内容如下,我们需要删除的是标红的部分。

param文件删掉标红部分

修改结果如下,其中180是由于之前的189网络层我们删除了10行,并用YoloV5Focus网络层代替,剩180个,而YoloV5Focus网络层中的images代表该层的输入,199代表输出名,这个可以根据标红的位置填写。(转化得到的param文件不一样,前两行也就不一样)

param文件修改后

5.2修改网络的输出shape

当我们基于修改后的网络使用ncnn/examples/yolov5测试时发现图片中会出现一堆乱框,该情况下需要修改网络的输出部分

首先,在yolov5-sim.param中找到网络的输出接口:

图中绿框部分就是最终的网络输出层(由于网络层数设置的区别,不同的网络所在的位置不一样),该层中红框选中的部分就是网络的输出名(要保证yolov5.cpp中调用的输出名和网络的一致性,yolov5.cpp中的调用方式如下C代码)。在并保证输出名一致的情况下,修改黄色框中区域为0=-1,使得最终的输出shape不固定。结果见图:

param文件最后几层修改后

本地测试:ncnn/examples/yolov5.cpp中修改如下部分(只改前两行就行)

yolov5.cpp修改

修改输出接口及对应的anchors

只根据param文件的最后几层修改第4、23、40行就行

yolov5.cpp修改

编译

make -j4

将yolov5-sim.param 、yolov5-sim.bin模型copy到ncnn/build/examples/位置,运行下面命令

./yolov5 image-path

image-path 是存放图片的位置

6.量化or压缩

半浮点压缩为例

./ncnnoptimize yolov5-sim.param yolov5-sim.bin yolov5-sim-opt.param yolov5-sim-opt.bin 65536

onnx转换成ncnn模型后,直接使用上述的命令转换会出现下面的问题:

error

由于YoloV5Focus不涉及参数的计算,故我们只需将.param中的YoloV5Focus名字换成其他已知的,且不参与运行的网络层,如Exp

然后运行命令即可(后面再进行网络输出相关问题的修改即可,至于二者的顺序是否可以改变请自行测试)。

转换完成后再将yolov5-sim-opt.param中的Exp名字改为YoloV5Focus即可。一定要改回来!!!

转换时命令行会出现如下问题

已测试该问题并不影响网络的调用。

over!

参考:https://blog.csdn.net/qq_41669468/article/details/110485396

https://zhuanlan.zhihu.com/p/275989233

o


Nanodet ncnn实现

1.用nanodet自带的onnx转换工具将ckpt模型转成onnx

python tools/export_onnx.py --cfg_path${CONFIG_PATH}--model_path${PYTORCH_MODEL_PATH}

2.简化模型

python -m onnxsim${INPUT_ONNX_MODEL}${OUTPUT_ONNX_MODEL}

3.onnx2ncnn转成param和bin文件

参考yolov5中4.2步

4.优化模型


Nanodet基于视频的检测

用到的param和bin文件在数梅派ped/nanodet-main/demo_ncnn

笔记本电脑param和bin文件存在toolpackage/ncnn/onnx2ncn和/toolpackage/ncnn-mine/examples/bin-param

一、用自己的use_camera工程

文件在数梅派ped/nanodet-main/use_camera

主cpp文件和nanodet.h里面规定了检测的类别及输入神经网络的图像的size,所以需要根据自己模型的情况修改

这个文件夹里面的ncnn文件夹是NCNN库文件里面的install文件夹

进入build文件夹运行

./nanodet_camera

二、用nanodet自带的ncnn文件夹

文件在数梅派ped/nanodet-main/demo_ncnn

首先要export总ncnn文件夹里面的install的静态库文件

exportncnn_DIR=YOUR_NCNN_PATH/build/install/lib/cmake/ncnn

主cpp文件和nanodet.h里面规定了检测的类别及输入神经网络的图像的size,所以需要根据自己模型的情况修改

摄像头检测

进入build文件夹运行

./nanodet_demo 0 0

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容