kinect学习总结

本周重点学习《Kinect体感程序设计入门》,且已翻译完英文文献。

Kinect传感器所能获取的基础信息共有5种:彩色图像、三轴加速度感应器、深度图像、红外线图像、声音。形成的重要交互功能有:

1)骨架识别——产生骨架信息(也可称骨架流、骨架图像、关节信息),其算法分析来自深度图像的数据。

2)语音识别——识别用户的语音命令,其算法分析来自麦克风阵列的数据。

3)脸部追踪——识别用户脸上的特征点,其算法分析来自彩色图像、深度图像,以及骨架信息的数据。

4)Kinect Interaction——辨识使用者手部的特殊动作(如握拳、按压),其算法分析来自三轴加速度感应器、深度图像,以及骨架信息的数据。

5)Kinect Fusion——提供3D建模的工具,其算法分析来自深度图像的数据。

Kinect所回传的骨架信息包含每个关节在骨架空间里的三维坐标(x,y,z),其单位为米(m),使用右手坐标系统,也就是所,从Kinec看过去,以传感器为中心,x轴向左为正,向右为负。Y轴向上为正,向下为负。z轴则是越靠近传感器,值越小;离传感器越远,值越大。

骨架信息流


SkeletonStream

Kinect的骨架信息流来自于KinectSensor对象中的SkeletonStream,骨架信息默认为关闭,使用前必须调用其Enable()方法启动骨架信息流。

启动之后,需要注册SkeletonFrameReady事件的事件处理函数方能接收到来自Kinect的骨架信息。应用程序取得的是一系列坐标的集合,称为骨架关节(joint)位置。AllFramesReady也可以取得骨架信息,不过通常用于搭配彩色图像、深度图像。

当有人要与Kinect进行交互时,考虑到现实的复杂环境干扰,需要使传感器正确识别交互者,可使用握拳或按压两种方式实现,其中,握拳动作通过搭配机器学习算法来实现;而按压动作则通过Z轴变化来侦测,按压的整个过程基本上就是Z坐标从0变化到1的过程。

通过Kinect控制机械臂基本流程


系统结构图

KinectSDK中自带的范例中提供了深度图像数据和骨骼跟踪的程序,但它们分开的,并且没有数据提取记录的相关程序,经过学习后,要自己编写应用程序,将骨骼跟踪和深度图相互结合,并记录提取相关的关键的骨骼关节数据。

跟踪程序流程设计主要有以下几个步骤,如图

第一步:设备环境设备初始化,并创建新的对象。

第二步:建立新的用户生成器,来保存捕捉到的目标的深度相关数据信息,方便以后调用。

第三步:完成相关回调函数的注册。需要调用的和骨骼跟踪相关的函数有新用户的生成、用户的丢失、骨骼姿态的检测等。

第四步:骨架校准,分析比较看捕捉到的骨骼关节是否可靠,如果分析结果达到要求则可进入下一步,否则返回第三步。

第五部:骨骼跟踪,记录骨骼关节的信息。

第六步:更新并读取数据,保证数据的实时性。

在Visual Studio 中进行人体骨骼点图的提取时,应注意到,具体的骨架信息是以关节点数据显示出来的,Joint有以下属性。第一种,Joint Type属性是Joint的一种枚举类型。第二种,每一个骨骼关节点有Skeleton Point的Position属性,这种属性是由X,Y,Z三个坐标值来进行显示每个关节点的位置信息,其中X,Y坐标值可以表示骨骼的在二维空间内的位置,Z坐标值是用来表示关节点的深度信息;Kinect传感器中有一系列关于点坐标的转换算法,可以用来将目标对象的骨骼坐标点转换成相应的深度。最后一种,每个Skeleton骨骼对象都有一个Joint Tracking State属性,这种属性表示这个关节点现有的跟踪情况和方式。利用Visual Studio编程提取出关节的坐标信息后,将坐标信息流经过计算机处理后发送给机械臂,通过舵机控制机械臂的运动实现交互功能。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,558评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,002评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,024评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,144评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,255评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,295评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,068评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,478评论 1 305
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,789评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,965评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,649评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,267评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,982评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,800评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,847评论 2 351

推荐阅读更多精彩内容