前言
在平常生活中，我们在与金融有关的APP中看到添加银行卡，扫描得到银行卡号的快捷输入方式。比如，在支付宝中就能看到，其实这个需求现在已经有一些成熟的第三方库，收费或者不收费，如果是在实际项目中，还是推荐是用别人已经比较成熟的库。不过学习NDK一段时间了，以及学习Opencv一段时间后，其实我们也可以拥戴末实现类似的效果，记录下来，方便如果以后遇到，更好的使用或者有条件的优化别人的第三方库。
下图是我们常见的银行卡
有几个特征，最外层是银行卡区域，左上角一般是 logo 和银行名称标识，右下角是银联区域，中间是我们要识别的卡号区域。有了这几个特征我们就有了思路了：
1.筛选过滤截取银行卡区域；
2.根据标识筛选截取银行卡号区域；
3.二值分析与特征提取；
4.数字分割识别显示。
1.筛选过滤截取银行卡区域
opencv 操作的是 mat 类型，我们拍照获取的是 Bitmap 类型，后面我们会获取每一帧进行处理，原理和套路都是一致的，由易到难，先来简单点的。所以第一个要写的方法就是 Bitmap 和 Mat 相互转换：
1void MatBitmapUtil::bitmap2mat(JNIEnv *env, Mat &mat, jobject &bitmap) {
// 锁定画布 获取首地址像素
void* pixels = 0;
AndroidBitmap_lockPixels(env,bitmap,&pixels);
// 获取信息判断格式
AndroidBitmapInfo *bitmapInfo = new AndroidBitmapInfo();
AndroidBitmap_getInfo(env,bitmap,bitmapInfo);
mat.create(bitmapInfo->height,bitmapInfo->width,CV_8UC4);
if(bitmapInfo->format == ANDROID_BITMAP_FORMAT_RGBA_8888){
// argb
Mat temp(bitmapInfo->height,bitmapInfo->width,CV_8UC4,pixels);
temp.copyTo(mat);
} else if(bitmapInfo->format == ANDROID_BITMAP_FORMAT_RGB_565){
// rgb
Mat temp(bitmapInfo->height,bitmapInfo->width,CV_8UC2,pixels);
temp.copyTo(mat,COLOR_BGR5652BGRA);
}
// 其他要自己去转
// 解锁画布
AndroidBitmap_unlockPixels(env,bitmap);
delete(bitmapInfo);
}
void MatBitmapUtil::mat2Bitmap(JNIEnv *env, Mat &mat, jobject &bitmap) {
// 1. 获取 bitmap 信息
AndroidBitmapInfo info;
void* pixels;
AndroidBitmap_getInfo(env,bitmap,&info);
// 锁定 Bitmap 画布
AndroidBitmap_lockPixels(env,bitmap,&pixels);
if(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888){// C4
Mat temp(info.height,info.width,CV_8UC4,pixels);
if(mat.type() == CV_8UC4){
mat.copyTo(temp);
}
else if(mat.type() == CV_8UC2){
cvtColor(mat,temp,COLOR_BGR5652BGRA);
}
else if(mat.type() == CV_8UC1){// 灰度 mat
cvtColor(mat,temp,COLOR_GRAY2BGRA);
}
} else if(info.format == ANDROID_BITMAP_FORMAT_RGB_565){// C2
Mat temp(info.height,info.width,CV_8UC2,pixels);
if(mat.type() == CV_8UC4){
cvtColor(mat,temp,COLOR_BGRA2BGR565);
}
else if(mat.type() == CV_8UC2){
mat.copyTo(temp);
}
else if(mat.type() == CV_8UC1){// 灰度 mat
cvtColor(mat,temp,COLOR_GRAY2BGR565);
}
}
// 其他要自己去转
// 解锁 Bitmap 画布
AndroidBitmap_unlockPixels(env,bitmap);
}
2.根据标识筛选截取银行卡号区域；
截取到银行卡区域后，我们就可以根据我们的银行卡标识，去筛选截取我们的卡号区域。
JNIEXPORT jint JNICALL
Java_com_darren_ndk_day05_FaceDetection_bankOcr(JNIEnv *env, jobject instance,
jobject bitmap) {
// Bitmap 转成 opencv 能操作的 C++ 对象 Mat , Mat 是一个矩阵
Mat mat;
MatBitmapUtil::bitmap2mat(env, mat, bitmap);
// 1.筛选过滤截取银行卡区域
Rect card_rect = co1::find_card_area(mat);
Mat card_mat(mat,card_rect);
// 2. 根据标识筛选截取银行卡号区域；
Rect card_number_rect = co1::find_card_number_area(mat);
Mat card_number_mat(card_mat,card_number_mat);
// 3. 写入文件看一看
imwrite("/storage/emulated/0/ocr/card_number.jpg",card_mat);
LOGE("处理完毕");
return 0;
}
红色区域为卡号区域
3.二值分析与特征提取；
有了上面这一块区域之后，我们首先要做的肯定需要转为灰度然后进行二值化。
// 转为灰度
Mat gray;
cvtColor(mat, gray, COLOR_BGRA2GRAY);
Mat binary;
// 可以用 THRESH_OTSU , 也可以手动指定
threshold(gray, binary, 39, 255, THRESH_BINARY);
// 进行降噪
Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3));
morphologyEx(binary, binary, MORPH_CLOSE, kernel);
imwrite("/storage/emulated/0/ocr/card_number_binary.jpg", binary);
上面的效果看上去还是有很多的干扰，我们对其进行轮廓发现，把那些不需要的干扰进行填充。
vector<vector<Point> > contours;
Mat binary_not = binary.clone();
// 取反, 白黑 -> 黑白
bitwise_not(binary_not, binary_not);
// 轮廓查找
findContours(binary_not, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
int minh = binary.rows / 4;
int matArea = mat.rows * mat.cols;
for (int i = 0; i < contours.size(); i++) {
Rect roi = boundingRect(contours[i]);
int area = roi.width * roi.height;
// 面积太小的过滤
if (area < matArea / 200) {
drawContours(binary, contours, i, Scalar(255), -1);
continue;
}
// 高度太低的过滤
if (roi.height <= minh) {
drawContours(binary, contours, i, Scalar(255), -1);
}
}
可以看到黑色干扰区域已经没了。得到这个Mat 之后，我们首先对其进行字符分割，然后进行特征提取匹配就好了，但是值得提醒的是，我们需要对粘连字符进行分割，尽管我的这张卡没有粘连字符的情况
// 字符的分割
binary.copyTo(binary_not);
bitwise_not(binary_not, binary_not);
findContours(binary_not, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
Rect rects[contours.size()];
// 创建新的 mat 用来画数字
Mat contours_mat(binary_not.size(), CV_8UC1, Scalar(255));
// 记录数字最小宽度(粘连字符)
int minw = mat.cols;
for (int i = 0; i < contours.size(); i++) {
rects[i] = boundingRect(contours[i]);
drawContours(contours_mat, contours, i, Scalar(0), 1);
minw = min(minw, rects[i].width);
}
imwrite("/storage/emulated/0/ocr/card_number_binary.jpg", contours_mat);
// 防止循序错乱，进行重新排序
for (int i = 0; i < contours.size(); ++i) {
for (int j = 0; j < contours.size() - i - 1; ++j) {
if (rects[j].x > rects[j + 1].x) {
swap(rects[j], rects[j + 1]);
}
}
}
numbers.clear();
// 最小宽度的两倍
minw = minw * 2;
for (int i = 0; i < contours.size(); ++i) {
if (minw < rects[i].width) {
// 大于最小宽度的两倍，判断是粘连字符，对粘连字符进行分割
Mat number(binary, rects[i]);
int cols_pos = get_split_cols_pos(number);
Rect rect_left = Rect(0, 0, cols_pos - 1, rects[i].height);
numbers.push_back(Mat(contours_mat, rect_left));
Rect rect_right = Rect(cols_pos + 1, 0, rects[i].width, rects[i].height);
numbers.push_back(Mat(contours_mat, rect_right));
} else {
Mat number(contours_mat, rects[i]);
numbers.push_back(number);
}
}
// 获取粘连位置
int co1::get_split_cols_pos(const Mat &mat) {
// 中心位置
int mx = mat.cols / 2;
// 高度
int height = mat.rows;
// 左右 1/4 去扫描
int startx = mx - mx/4;
int endx = mx + mx/4;
// 粘连位置
int clos_pos = mx;
int c = 0;
// 最小的黑色像素
int minh = mat.rows;
for (int col = startx; col <= endx; col++) {
// 这一列有多少个黑色像素
int total = 0;
for (int row = 0; row < height; row++) {
c = mat.at<Vec3b>(row, col)[0];
if (c == 0) {
total++;
}
}
// 保存当前列
if (total < minh) {
minh = total;
clos_pos = col;
}
}
return clos_pos;
}
到这一步就得到了19张单独的图片，下一步就需要识别出单张
4.数字分割识别显示
可以利用人工智能算法，进行特征值提取识别。
