【OPENCV/Dlib/Firebase】人脸关键点定位及配准

Tags: ComputerVision DIP

人脸检测和关键点定位是人脸识别中和其他人脸相关应用中的基础信息和先决条件。比如检测五官位置在相机中加入配饰,使用关键点信息进行人脸配准等等... 这篇文章讨论几种常见的人脸检测和关键点定位模型。
人脸卡通拼接:


image

人脸配准:


image.png

OPENCV 人脸检测

OpenCV是目前最为强大的计算机视觉库,可以在这个基础上进行很多二次开发。OpenCV的人脸检测是基于Haar特征的Adaboost级联分类器。内置了两个模型: frontal_face, eye。
opencv提供的人脸检测模型只能检测出大概的矩形位置,功能较弱。

import cv2
import os
import time
filepath = "/Users/yuhua.cheng/PycharmProjects/FaceDetector/data/"

img = cv2.imread(filepath + "face.png")
height, width, channels = img.shape
rescale = 0.5
grayImg = cv2.cvtColor(img, cv2.COLOR_BGRA2GRAY)

faceClassifier = cv2.CascadeClassifier(filepath + "haarcascade_frontalface_default.xml")
eyeClassifier = cv2.CascadeClassifier(filepath + "haarcascade_eye_tree_eyeglasses.xml")
color = (0,255,0)

faceRects = faceClassifier.detectMultiScale(grayImg, scaleFactor=1.2, minNeighbors=3, minSize=(32, 32))


time_start = time.time()
if len(faceRects):
    for faceRect in faceRects:
        x, y, w, h = faceRect
        # face
        cv2.rectangle(img, (x,y), (x+h, y+w), color, 2)
        roi_gray = grayImg[y:y+h, x:x+w]
        roi_img = img[y:y+h, x:x+w]
        # eyes
        eyes = eyeClassifier.detectMultiScale(roi_gray)
        for eye in eyes:
            ex, ey, ew, eh = eye
            cv2.rectangle(roi_img, (ex, ey), (ex+ew, ey+eh), color, 2)
time_end = time.time()

print("It tooks {} to detect with opencv model!".format(time_end - time_start))
img = cv2.resize(img, (int(width*rescale), int(height*rescale)))
cv2.namedWindow("image", cv2.WINDOW_NORMAL)
cv2.imshow("image", img)

cv2.waitKey(0)
cv2.destroyAllWindows()
Screen Shot 2018-12-25 at 2.13.10 PM.png

Dlib关键点定位及人脸配准

Dlib是一个C++库,除了图像处理的功能也提供了很多其他功能,比如机器学习等。也可以进行二次开发。
Dlib人脸关键点检测模型的点位信息:


wYrNO.jpg

Dlib点位比较全,利用这些点位信息可以框选出脸部轮廓,眼镜,嘴巴等五官。很多现有的人脸形状分类模型就是利用dlib的点位信息进一步构造特征做的。此外这些信息还可以用于2D人脸校正,具体就是将倾斜的人脸变为正脸,使得人脸处于图像中心位置。

import cv2
import dlib
import time
import numpy as np

filepath = "/Users/yuhua.cheng/PycharmProjects/FaceDetector/data/"

img = cv2.imread(filepath + "face.png")
height, width, channels = img.shape
rescale = 0.5
grayImg = cv2.cvtColor(img, cv2.COLOR_BGRA2GRAY)

# get face detectors
faceDetector = dlib.get_frontal_face_detector()
# get landmark detectors
landmarkPredictor = dlib.shape_predictor(filepath + "shape_predictor_68_face_landmarks.dat")

faces = faceDetector(grayImg, 1)
time_start = time.time()
for face in faces:
    landmarks = landmarkPredictor(img, face)  # get 68 landmarks for each face
    print(len(landmarks.parts()))
    # 遍历所有点,打印出其坐标,并圈出来
    for pt in landmarks.parts():
        pt_pos = (pt.x, pt.y)
        cv2.circle(img, pt_pos, 2, (0, 255, 0), 1)

# add poly
"""
coordinates = landmarks.parts()

pts = np.zeros((9,2), np.int32)
mask = np.zeros((height, width), np.uint8)

points = [coordinates[15], coordinates[14], coordinates[13], coordinates[12], coordinates[11], coordinates[10], coordinates[54], coordinates[35], coordinates[42]]
for i, point in enumerate(points):
    pts[i][0] = point.x
    pts[i][1] = point.y
    print(pts)

cv2.fillConvexPoly(mask, pts, color=(255,255,255))
cv2.imshow("mask", mask)
cv2.imwrite("../result/mask.jpg", mask)


cv2.fillConvexPoly(img, pts, color=(0, 255, 0))
"""
time_end = time.time()
print("It tooks {} to detect with dlib model!".format(time_end - time_start))
img = cv2.resize(img, (int(width*rescale), int(height*rescale)))

cv2.imshow("image", img)

cv2.waitKey(0)
cv2.destroyAllWindows()

Screen Shot 2018-12-25 at 2.19.29 PM.png

简单介绍一下人脸校正:
有了上面的关键点信息之后,我们可以使用这些关键点信息来判断人脸处于图像中的位置和倾斜的角度。比较简单的一种方法是根据两个眼镜的相对位置和大小来校正。
一般而言校正之后左眼中心在图像0.2-0.4处,相对应右眼应该在0.6-0.8处,值越大则最后得到的人脸在图像中的占比越小。(脑补下左眼在0.2位置处时,左眼最左侧就已经是图像边缘了,相当于脸部占满图像)
同时所有左右眼部关键点位置可以用来判断脸在平面内的倾斜程度。
image

知道倾斜角度,又知道校正前后的点位位置关系,我们就可以求解一个仿射变换矩阵,最后将这个仿射变换矩阵用于整个图像就可以得到校正后的人脸图像。
具体代码可以参考这篇文章:https://www.pyimagesearch.com/2017/05/22/face-alignment-with-opencv-and-python/

Firebase 点位信息

Firebase 是google 提供的免费sdk,功能很强大。其中的ML Kit Vision提供人脸识别功能,其中关键点检测如下:


Screen Shot 2018-12-25 at 11.05.14 AM.png

得到这些关键点同样可以和dlib一样进行人脸校正。
我用Firebase实现的人脸校正效果如下:


Screen Shot 2018-12-25 at 3.23.58 PM.png

我自己仔细对比了下发现Firebase的关键点虽然多,但是精度不如dlib的关键点精度

Reference

  1. https://www.pyimagesearch.com/2017/05/22/face-alignment-with-opencv-and-python/
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,794评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,050评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,587评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,861评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,901评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,898评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,832评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,617评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,077评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,349评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,483评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,199评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,824评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,442评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,632评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,474评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,393评论 2 352