《DNK210使用指南 -CanMV版 V1.0》第四十章 YOLO2人手检测实验

第四十章 YOLO2人手检测实验

在上一章节中,介绍了利用maix.KPU模块实现YOLO2的人脸检测,本章将继续介绍利用maix.KPU模块实现YOLO2的人手检测。通过本章的学习,读者将学习到YOLO2网络的人手检测应用在CanMV上的实现。

本章分为如下几个小节:

40.1 maix.KPU模块介绍

40.2 硬件设计

40.3 程序设计

40.4 运行验证

40.1 maix.KPU模块介绍

有关maix.KPU模块的介绍,请见第39.1小节《maix.KPU模块介绍》。

40.2 硬件设计

40.2.1 例程功能

1. 获取摄像头输出的图像,并送入KPU进行YOLO2的人手检测模型运算,后将运算结果和摄像头输出的图像一起显示在LCD上。

40.2.2 硬件资源

本章实验内容,主要讲解maix.KPU模块的使用,无需关注硬件资源。

40.2.3 原理图

本章实验内容,主要讲解maix.KPU模块的使用,无需关注原理图。

40.3 程序设计

40.3.1 maix.KPU模块介绍

有关maix.KPU模块的介绍,请见第40.1小节《maix.KPU模块介绍》。

40.3.2 程序流程图

图40.3.2.1 YOLO2人手检测实验流程图

40.3.3 main.py代码

main.py中的脚本代码如下所示:

import lcd

import sensor

import image

import gc

from maix import KPU

lcd.init()

sensor.reset()

sensor.set_framesize(sensor.QVGA)

sensor.set_pixformat(sensor.RGB565)

sensor.set_hmirror(False)

resize_img = image.Image(size=(320, 256))

anchor = (0.8125, 0.4556, 1.1328, 1.2667, 1.8594, 1.4889, 1.4844, 2.2000, 2.6484, 2.9333)

names = ['hand']

# 构造KPU对象

hand_detecter = KPU()

# 加载模型文件

hand_detecter.load_kmodel('/sd/KPU/hand_detect.kmodel')

# 初始化YOLO2网络

hand_detecter.init_yolo2(anchor, anchor_num=len(anchor) // 2, img_w=320, img_h=240, net_w=320, net_h=256, layer_w=10, layer_h=8, threshold=0.7, nms_value=0.3, classes=len(names))

while True:

    img= sensor.snapshot()

   resize_img.draw_image(img, 0, 0).pix_to_ai()

    # 进行KPU运算

   hand_detecter.run_with_output(resize_img)

    # 进行YOLO2运算

   hands = hand_detecter.regionlayer_yolo2()

    for hand in hands:

       img.draw_rectangle(hand[0], hand[1], hand[2], hand[3], color=(0, 255, 0))

       img.draw_string(hand[0] + 2, hand[1] + 2, "%.2f" % (hand[5]), color=(0, 255, 0))

       img.draw_string(hand[0] + 2, hand[1] + 10, names[hand[4]], color=(0, 255, 0))

    lcd.display(img)

    gc.collect()

可以看到一开始是先初始化了LCD和摄像头。

接着是构造一个KPU对象,并从文件系统中加载YOLO2人手检测网络需要用到的网络模型,并初始化YOLO2网络。

然后便是在一个循环中不断地获取摄像头输出的图像,由于网络需要的图像尺寸与摄像头直接输出的图像尺寸不一致,因此将其复制到网络需要的图像尺寸的图像上,再并将其送入KPU中进行运算,然后再进行YOLO2网络运算,最后便得到网络识别出人手在输入图像上的一些信息,将这些信息绘制到图像上后,在LCD上显示图像。

40.4 运行验证

将DNK210开发板连接CanMV IDE,点击CanMV IDE上的“开始(运行脚本)”按钮后,将摄像头对准人手,让其采集到人手图像,随后便能在LCD上看到摄像头输出的图像,同时图像中的人手均被绿色的矩形框框出,并在矩形框内的左上角标出了人手的置信度,如下图所示:

图40.4.1 LCD显示YOLO2人手检测结果
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,294评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,493评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,790评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,595评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,718评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,906评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,053评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,797评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,250评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,570评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,711评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,388评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,018评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,796评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,023评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,461评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,595评论 2 350

推荐阅读更多精彩内容