首先要做的就是获取我们的硬件的摄像头获取到的每一帧图片。我们肉眼看到的其实是每一帧图片的连续播放。
- (void)captureOutput:(AVCaptureOutput *)captureOutput
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer
fromConnection:(AVCaptureConnection *)connection
{
通过这个代理方法获取的CMSampleBufferRef，而UIImage是通过CMSampleBufferRef转化过来的。
CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
CVPixelBufferLockBaseAddress(imageBuffer,0);
uint8_t *baseAddress = (uint8_t *)CVPixelBufferGetBaseAddress(imageBuffer);
size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer);
size_t width = CVPixelBufferGetWidth(imageBuffer);
size_t height = CVPixelBufferGetHeight(imageBuffer);
CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
CGContextRef newContext = CGBitmapContextCreate(baseAddress,
width, height, 8, bytesPerRow, colorSpace,
kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);
CGImageRef newImage = CGBitmapContextCreateImage(newContext);
CGContextRelease(newContext);
CGColorSpaceRelease(colorSpace);
UIImage *image= [UIImage imageWithCGImage:newImage scale:0.5 orientation:UIImageOrientationLeftMirrored];
CGImageRelease(newImage);
CVPixelBufferUnlockBaseAddress(imageBuffer,0);
上面代码就是有CMSampleBufferRef转化为UIImage。
我们的人脸识别主要使用到的技术是CascadeClassifier，这个类是我们OpenCV只带的。因为没有开源里面具体是怎么实现的还无法知道，但大的算法是在一个XML中，具体请看代码。
人脸识别的具体流程：
首先通过CascadeClassifier类来获取XML的算法，通过load方法添加到CascadeClassifier类中。
在此就是简单的图片装换了，将UIImage转换为C++，cv::Mat对象。
在就是将图片装换为黑白色，这样为了我们很好的计算。
通过函数equalizeHist将归一化图像亮度和增强对比度。
下一步就是最为重要的一步了，检测图片中的人脸特征检测到后在将所有的点进行储存。使用CascadeClassifier类中detectMultiScale进行检测，如果检测到了就将数据储存到std::vector<cv::Rect>中去。
绘制我们识别区域
// 在每个人脸上画一个红色四方形
for(unsigned int i= 0;i < faces.size();i++)
{
const cv::Rect& face = faces[i];
cv::Point tl(face.x,face.y);
cv::Point br = tl + cv::Point(face.width,face.height);
// 四方形的画法
cv::Scalar magenta = cv::Scalar(255, 0, 0, 255);
cv::rectangle(inputImage, tl, br, magenta, 11, 8, 0);
}
最后就是将cv::Mat对象转换为UIImage对象。到此我们的人脸识别就完成了，这里只是一个简单人脸识别，对性能没有做什么优化。下面就是具体的代码
- (UIImage *)faceRecognitionImg:(UIImage *)img {
static cv::CascadeClassifier face_cascade;
static cv::CascadeClassifier eyes_cascade;
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
NSString *frontalfacePath = [[NSBundle mainBundle] pathForResource:@"haarcascade_frontalface_alt" ofType:@"xml"];
const char* frontalfaceDir = [frontalfacePath UTF8String];
NSString *eye_treePath = [[NSBundle mainBundle] pathForResource:@"haarcascade_eye_tree_eyeglasses" ofType:@"xml"];
const char* eye_treeDir = [eye_treePath UTF8String];
face_cascade.load(frontalfaceDir);
eyes_cascade.load(eye_treeDir);
});
cv::Mat inputImage;
UIImageToMat(img, inputImage);
std::vector<cv::Rect> faces;
cv::Mat frame_gray;
cvtColor(inputImage, frame_gray, CV_BGR2GRAY);
equalizeHist( frame_gray, frame_gray );
//-- 多尺寸检测人脸
/*
参数1：image--待检测图片，一般为灰度图像加快检测速度；
参数2：objects--被检测物体的矩形框向量组；
参数3：scaleFactor--表示在前后两次相继的扫描中，搜索窗口的比例系数。默认为1.1即每次搜索窗口依次扩大10%;
参数4：minNeighbors--表示构成检测目标的相邻矩形的最小个数(默认为3个)。
如果组成检测目标的小矩形的个数和小于 min_neighbors - 1 都会被排除。
如果min_neighbors 为 0, 则函数不做任何操作就返回所有的被检候选矩形框，
这种设定值一般用在用户自定义对检测结果的组合程序上；
参数5：flags--要么使用默认值，要么使用CV_HAAR_DO_CANNY_PRUNING，如果设置为
CV_HAAR_DO_CANNY_PRUNING，那么函数将会使用Canny边缘检测来排除边缘过多或过少的区域，
因此这些区域通常不会是人脸所在区域；
参数6、7：minSize和maxSize用来限制得到的目标区域的范围。
*/
face_cascade.detectMultiScale(frame_gray, faces,1.1,2,0,cv::Size(30,30));
// 在每个人脸上画一个红色四方形
for(unsigned int i= 0;i < faces.size();i++)
{
const cv::Rect& face = faces[i];
cv::Point tl(face.x,face.y);
cv::Point br = tl + cv::Point(face.width,face.height);
// 四方形的画法
cv::Scalar magenta = cv::Scalar(255, 0, 0, 255);
cv::rectangle(inputImage, tl, br, magenta, 11, 8, 0);
}
UIImage *outputImage = MatToUIImage(inputImage);
return outputImage;
}
