先引用一段描述性的文字:
SeetaFace开源库由FaceDetection、FaceAlignment、FaceIdentification三部分组成。FaceDetection是在一副图片中检测出人脸区域,以一个方形区域表示。FaceAlignment利用FaceDetection中检测出的方框,进一步检测出人脸的5个关键点(两眼中心,鼻尖和两个嘴角)。最后,FaceIdentification利用FaceAlignment中检测出的关键点,提取出单个人脸的特征。
从中可以看出这个开源库的模块功能和特性,下面就简单说一下这个开源模型实践当中的一些坑。
一点拓展
最近接触到各种face detection的模型,也对各种方法和模型的优劣有了自己的认识,其中这个模型实现简单(但Windows上却又不少麻烦的地方,主要体现在dlib库的安装上面,有兴趣的同学可以参考我之前安装dlib的文章),效果也非常不错,其模型介绍有这样几句话:
The world's simplest facial recognition api for Python and the command line
The model has an accuracy of 99.38% on theLabeled Faces in the Wild benchmark.
这个模型使用起来是简单,但我还没解剖它的实现方法和原理,抽时间去看看。
好了,下面进入正题,seetaface是由中科院山世光团队研究开源的一个模型,据介绍其准确率也能达到97.1%,但很多其他实践的同学总结了这样几条结论:
检测部分,速度有点慢,误检率小,漏检率稍微大
对齐部分,还是可以的,但是效果肯定不会有SDM好
识别部分,按我自己的测试结果,对于变化比较大的2个同样的人,0.7的徘徊分数,不是一个可以实际产品话的算法,个人认为不如DeepID好。
其实,这些都不重要,开源精神最值得钦佩。
个人觉着最后一句话说的很对。
那么,下面我们就自己来实践一下这个开源项目。
网上有很多指导教程或者博客,但大都说的不完全,让很多人有些疑惑,最终跑代码的时候会抛出bug。
其实该开源项目给了非常详尽的指导文档,地址如下
传送门
只要跟着这个指导文档一步一步做就好了,非常详尽。
主要说说注意的地方。我的运行环境是VS2015+opencv3.0+windows,之前的配置基本都没有什么问题,只是到了最后测试的时候由于最新的测试代码有点改动,可能有部分同学不知道最后怎么贴路径,其实稍稍看看测试代码就知道怎么改了,下面贴一个我的测试代码吧,有需要的同学改动一下就好:
#include <cstdint>
#include <fstream>
#include <iostream>
#include <string>
#include "highgui.hpp"
#include "imgproc.hpp"
#include "face_detection.h"
using namespace std;
int main(int argc, char** argv) {
const char* img_path = "D:/my_project/hub_project/FaceRecognition_5/MyBuild/Detection/x64/Release/people.jpg";
seeta::FaceDetection detector("D:/my_project/hub_project/FaceRecognition_5/MyBuild/Detection/x64/Release/seeta_fd_frontal_v1.0.bin");//seeta_fd_frontal_v1.0.bin 文件是作者已经训练好并提供的
//设置人脸检测的参数
detector.SetMinFaceSize(40);
detector.SetScoreThresh(2.f);
detector.SetImagePyramidScaleFactor(0.8f);
detector.SetWindowStep(4, 4);
cv::Mat img = cv::imread(img_path, cv::IMREAD_UNCHANGED);
cv::Mat img_gray;
if (img.channels() != 1)
cv::cvtColor(img, img_gray, cv::COLOR_BGR2GRAY);
else
img_gray = img;
seeta::ImageData img_data;
img_data.data = img_gray.data;//注意这里必须是单通道的图像
img_data.width = img_gray.cols;
img_data.height = img_gray.rows;
img_data.num_channels = 1;
long t0 = cv::getTickCount();
std::vector<seeta::FaceInfo> faces = detector.Detect(img_data);//人脸检测的主要函数
long t1 = cv::getTickCount();
double secs = (t1 - t0) / cv::getTickFrequency();
cout << "Detections takes " << secs << " seconds " << endl;
#ifdef USE_OPENMP
cout << "OpenMP is used." << endl;
#else
cout << "OpenMP is not used. " << endl;
#endif
#ifdef USE_SSE
cout << "SSE is used." << endl;
#else
cout << "SSE is not used." << endl;
#endif
cout << "Image size (wxh): " << img_data.width << "x"
<< img_data.height << endl;
cv::Rect face_rect;
int32_t num_face = static_cast<int32_t>(faces.size());
for (int32_t i = 0; i < num_face; i++) //提取找到的人脸区域
{
face_rect.x = faces[i].bbox.x;
face_rect.y = faces[i].bbox.y;
face_rect.width = faces[i].bbox.width;
face_rect.height = faces[i].bbox.height;
cv::rectangle(img, face_rect, CV_RGB(0, 0, 255), 4, 8, 0);
}
cv::namedWindow("Test", cv::WINDOW_AUTOSIZE);
cv::imshow("Test", img);
cv::waitKey(0);
cv::destroyAllWindows();
}
其中要特别注意的一点就是图片和模型的绝对路径要用 “/”,Windows里面默认的是“\”,博主在最开始跑代码的时候总是抛出异常,仔细定位分析以后稍改动了以上的内容就成功运行了代码。
我是以简单的face recognition为例跑的代码,随便贴一下我的运行结果吧
后续将会进一步测试face alignment和face identification