利用二维图像进行头部姿态估计

3D头部姿态估计(ubuntu操作系统,基于opencv3.2+Dlib19.4+python2.7)打开摄像头,可实现实时(realtime)姿态检测。

坐标变换:世界坐标系旋转、转换矩阵将3D点从世界坐标系变换到相机坐标系中.也就是通过算法完成世界坐标系(3D)、2Dlandmark输入image、相机坐标系之间的映射转换和标定。


2D输入landmark与3D世界坐标系对应点

即利用已有的输入世界坐标系的6点参数和landmark的6点参数,他们分别是


landmark6点参数

The 3D coordinates of the various facial features shown above are inworld coordinates. If we knew the rotation and translation ( i.e. pose ), we could transform the 3D points in world coordinates to 3D points incamera coordinates.

本程序最终结果为三个参数:

Yaw:摇头  左正右负

Pitch:点头 上负下正

Roll:摆头(歪头)左负 右正


结果角度表示

参考博客内容:http://blog.csdn.net/shenxiaolu1984/article/details/50165635

使用opencv的库函数solvepnp, (success, rotation_vector, translation_vector) = cv2.solvePnP(model_points, image_points,camera_matrix, dist_coeffs, flags=cv2.SOLVEPNP_ITERATIVE)

可以得到rotation_vector 但是这个旋转向量为3*1,其输出值不为而旋转矩阵为3*3的,只有转换成旋转矩阵才能与Euler坐标进行转换( roll yaw pitch),故需要转换成旋转矩阵(vector->matrix)经查找需要使用opencv中的cv2.Rodrigues函数进行转换成旋转矩阵,调用时需要注意在python2.7中按如下方式调用R=cv2.Rodrigues(rotation_vector)[0],再借用MATLAB中的转换代码rot2euler函数:

function [euler] = Rot2Euler(R)

q0 = sqrt( 1 + R(1,1) + R(2,2) + R(3,3) ) / 2;

q1 = (R(3,2) - R(2,3)) / (4*q0) ;

q2 = (R(1,3) - R(3,1)) / (4*q0) ;

q3 = (R(2,1) - R(1,2)) / (4*q0) ;

yaw  = asin(2*(q0*q2 + q1*q3));

pitch= atan2(2*(q0*q1-q2*q3), q0*q0-q1*q1-q2*q2+q3*q3);

roll = atan2(2*(q0*q3-q1*q2), q0*q0+q1*q1-q2*q2-q3*q3);

euler = [pitch, yaw, roll];

但是我们发现第pitch坐标抖动很厉害,而且是在正负之间震荡,但是在一定范围内是随点头的幅度呈近似线性关系,所以考虑是坐标角度变换的问题,在减去180度发现是从0度直接到-360,所以是互补的问题:

if pitch1<=-180:

pitch1=pitch1+360

此时在正常范围内进行测试,基本准确。

在测试时不能启动,shape没有定义,思考后发现是当开启摄像头后未检测到人脸,就不会有数据传入shape,这样就是未定义了,在前面测量下dets=detector(frame,1)中dets的个数,如果小于1直接显示未检测到人脸,返回即可。

运行结果如下:


运行结果

参考材料:http://www.learnopencv.com/head-pose-estimation-using-opencv-and-dlib/

其他参考博客:

http://blog.csdn.net/taily_duan/article/details/60580694

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,039评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,426评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,417评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,868评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,892评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,692评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,416评论 3 419
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,326评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,782评论 1 316
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,957评论 3 337
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,102评论 1 350
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,790评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,442评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,996评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,113评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,332评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,044评论 2 355

推荐阅读更多精彩内容

  • 1 前言 OpenGL渲染3D模型离不开空间几何的数学理论知识,而本篇文章的目的就是对空间几何进行简单的介绍,并对...
    RichardJieChen阅读 7,000评论 1 11
  • 现在通用的姿态传感器是MPU6050,这种传感器能输出三个加速度acc和三个转动gyro。 有了这几个数据就可以通...
    AwesomeAshe阅读 4,630评论 1 15
  • 作为备用知识,memo 学过矩阵理论或者线性代数的肯定知道正交矩阵(orthogonal matrix)是一个非常...
    HappyPieBinLiu阅读 5,805评论 0 5
  • 花了整整一天时间在地磁融合计算姿态上,看了很多论坛,发现都是同一篇文章,但是一直理解不了,后来发现就是这些笔者全部...
    marine0131阅读 4,107评论 0 5
  • 你当儿子时,嫌父母事多爱唠叨, 你做父亲时,嫌儿女不听话不争气; 你有儿子,你希望未来的媳妇能够少要彩礼,嫁妆丰厚...
    张建波7078阅读 326评论 0 0