最近，公司的项目中用到了图像识别技术，通过拍照来识别身份证号，之前没有做过，经过一番的研究，总算是搞定了，下面就将整个的实现过程分享一下：
图像识别主要用到了两个第三方的框架：OpenCV和TesseractOCR，OpenCV用来做图像处理，定位到身份证号码的区域，TesseractOCR则是对定位到的区域内的内容进行识别。
框架的导入
1、OpenCv
OpenCV的导入比较简单，首先从OpenCV官网上下载iOS对应的framework，然后将其直接拖入到工程中即可。
OpenCV.png
OpenCV是一套C++的框架，所以在使用到OpenCV的类中要将.m文件的后缀改为.mm文件。如果在.pch文件中导入头文件的话，需要将头文件放到下面的代码中，表示只有C++文件才会编译：
#ifdef __cplusplus
#endif
然后倒入一下三个头文件
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
2、TesseractOCR
TesseractOCR是谷歌开源的一个OCR引擎，从github上下载Tesseract的工程和语言包(tessdata)，默认TesseractOCR使用的是英文包（名称：eng.traineddata），如果要识别中文，还需要将中文包（名称：chi_sim.traineddata）导入到tessdata中（一个简单的方法是将中文包导入到tessdata中，并将名称改为eng.traineddata，这样其他的地方就不用做改变了）。
TesseractOCR.png
注意：在将tessdata文件夹导入到工程中时，要选择Create folder refrences，如图：
tessdata.png
获取图片
要识别图像，首先得能获取图像，可以通过拍照，也可以从相册中获取，下面是我为身份证识别做的一下准备工作：
在控制器中添加一个label（显示结果）、一个imageView（显示图像）、两个button（点击分别拍照和进入相册），添加UIImagePickerController的全局变量，并初始化。
@interface ViewController ()<UINavigationControllerDelegate, UIImagePickerControllerDelegate>
{
UIImagePickerController *_imagePickerVC;
}
@property (weak, nonatomic) IBOutlet UILabel *resultLabel;
@property (weak, nonatomic) IBOutlet UIImageView *cardImageView;
@end
@implementation ViewController
- (void)viewDidLoad {
[super viewDidLoad];
_imagePickerVC = [[UIImagePickerController alloc] init];
_imagePickerVC.delegate = self;
_imagePickerVC.modalTransitionStyle = UIModalTransitionStyleFlipHorizontal;
_imagePickerVC.allowsEditing = YES;
}
- (IBAction)cameraAction:(id)sender {
//判断是否可以打开照相机
if ([UIImagePickerController isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) {
_imagePickerVC.sourceType = UIImagePickerControllerSourceTypeCamera;
//设置摄像头模式（拍照，录制视频）为拍照
_imagePickerVC.cameraCaptureMode = UIImagePickerControllerCameraCaptureModePhoto;
[self presentViewController:_imagePickerVC animated:YES completion:^{
}];
}
}
- (IBAction)photoLibaryAction:(id)sender {
_imagePickerVC.sourceType = UIImagePickerControllerSourceTypePhotoLibrary;
[self presentViewController:_imagePickerVC animated:YES completion:nil];
}
#pragma mark - UIImagePickerControllerDelegate
- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary<NSString *,id> *)info{
UIImage *srcImage = nil;
NSString *mediaType=[info objectForKey:UIImagePickerControllerMediaType];
//判断资源类型
if ([mediaType isEqualToString:@"public.image"]){
srcImage = info[UIImagePickerControllerEditedImage];
self.cardImageView.image = srcImage;//得到图片并显示
}
[_imagePickerVC dismissViewControllerAnimated:YES completion:^{
}];
}
图像处理和识别
接下来，就说一下图像处理的过程，得到最适合的识别区域：
首先，在工程中创建一个图像识别处理的工具类：RecognizeUtil，在.h文件中声明如下方法，并在.m中实现。
RecognizeUtil工具类中的结构基本如下：
#import <Foundation/Foundation.h>
@class UIImage;
@interface RecognizeUtil : NSObject
/*
单例
*/
+ (instancetype)recognizeUtil;
/*
身份证号码识别
*/
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *resultImage))complete;
@end
#import "RecognizeUtil.h"
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
#import "TesseractOCRiOS/TesseractOCR/TesseractOCR.h"
@implementation RecognizeUtil
static RecognizeUtil *recognizeUtil = nil;
+ (instancetype)recognizeUtil {
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
recognizeUtil = [[RecognizeUtil alloc] init];
});
return recognizeCardManager;
}
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum))complete{
UIImage *handledImage = [self opencvHandleImage:image];
[self tesseractRecognizeImage:handledImage complete:^(NSString *resultNum,UIImage *image) {
complete(resultNum, image);
}];
}
/*
OpenCV 图像处理 返回处理过后的图片
*/
- (UIImage *)opencvHandleImage:(UIImage *)image{
return nil;
}
/*
tesseract 图像识别 block回调识别结果
*/
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *resultImage))complete;
complete(resultNum,resultImage);
}
@end
下面到了最关键的环节，就是图像处理和识别的具体方法：
1、处理
opencvHandleImage:方法实现
/*
OpenCV 图像处理 返回处理过后的图片
*/
- (UIImage *)opencvHandleImage:(UIImage *)image{
//将UIImage转换成Mat
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//转为灰度图
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
//阈值二值化
cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY);
//腐蚀，填充（腐蚀是让黑色点变大）
cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
cv::erode(resultImage, resultImage, erodeElement);
//定义一个容器来存储所有检测到的轮廓
std::vector<std::vector<cv::Point>> contours;
cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
//取出身份证号码区域
std::vector<cv::Rect> rects;
cv::Rect numberRect = cv::Rect(0,0,0,0);
std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin();
for ( ; itContours != contours.end(); ++itContours) {
cv::Rect rect = cv::boundingRect(*itContours);
rects.push_back(rect);//push_back 在容器尾部插入一个数据
//算法原理（宽度最大，并且宽度大于高度的5倍）
if (rect.width > numberRect.width && rect.width > rect.height * 5) {
numberRect = rect;
}
}
//定位失败
if (numberRect.width == 0 || numberRect.height == 0) {
return nil;
}
//得到身份证号的区域，去原图中后去该区域，并转成二值图
cv::Mat matImage;
UIImageToMat(image, matImage);
resultImage = matImage(numberRect);
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY);
//将Mat转换成UIImage
UIImage *numberImage = MatToUIImage(resultImage);
return numberImage;
}
上面主要利用到了OpenCV中的一些简单的处理图像的方法：灰度处理、二值化、腐蚀、边缘检测等等。
灰度处理和二值化的作用是将图像变为只有黑白两种颜色的二值图；
腐蚀的作用是将黑色的区域 扩大，这样，相邻的黑色区域就会连在一起，便于将号码的区域隔离出来；
边缘检测的作用就是获取各个黑色区域的值
最后通过比较各个黑色区域的特点，就可以将号码的区域分离出来，得到号码区域的值，再从原图中截取号码区域即可。
在处理之前，先要将UIImage类型转换为OpenCV中的图像类型：Mat
UIImageToMat()
2、识别
识别就比较简单了，代码基本上都是从Demo中拷贝的，选择好语言，将图片作为参数传入，就可以返回识别的内容。
/*
tesseract 图像识别 block回调识别结果
*/
- (void)tesseractRecognizeImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *image))complete{
dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{
G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"eng"];
tesseract.image = [image g8_blackAndWhite];
tesseract.image = image;
// Start the recognition
[tesseract recognize];
dispatch_async(dispatch_get_main_queue(), ^{
//执行回调
complete(tesseract.recognizedText,image);
});
});
}
总结：
关于图像识别，最关键的应该就是处理的环节了，在以上的代码中，所做的处理比较简单，所以对照片的要求比较高，拍照时，身份证的背景为纯白色，识别的几率为更高。
关于OpenCV，其中还有好多对图像处理的方法，使用OpenCV对图像进行最合适的预处理，可以很大程度的提高识别概率。
