iOS - 模仿QQ扫一扫AR识图动画 + opencv canny边缘检测

QQ扫一扫 Demo

实现方式

  1. 从相机里面拿到图
  2. 用opencv做边缘检测,拿到提取的边缘数据
  3. 给边缘上色,并且贴合到原图
  4. 使用一个gradiantlayer做动画

opencv - canny 边缘检测

这个动画里面最关键的一步是边缘检测,需要扣出图像中的边缘,在定义上是图像中明亮程度差异明显的点。

原图 边缘提取后

一般来说边缘提取在opencv里面常用的api/方法叫Canny算子。

边缘检测算法的指标需要关注三个问题:
1.错误率低:可以检测到真是的边缘(明亮度变化剧烈的点)
2.定位准确:找到的边缘和真实的边缘距离近
3.最小响应:被检测的时候,每一条边缘仅出现一次(同一边缘被检测时不会出现多个结果)

Canny目前是边缘检测表现最好的算法,他的工作步骤大概如下[1]:
1.应用高斯模糊,这一步在用使用canny api的时候需要我们自己做
2.找到图像中梯度(明亮程度)剧烈变化的地方
3.使用非极大值抑制,干掉被检测出来的重复的边缘/无法连成线的点
4.滞后回线,使用最大+最小阈值挑选出想要的边缘,对于Canny来说,一般 最大值:最小值的比例为3:1或者2:1,这一部分需要我们调用api的时候来操作。

代码

1. 边缘提取

  1. 将图片转换成mat,原图变成灰度图
  2. 对灰度图做高斯模糊
  3. 使用Canny提取,并指定高低阈值,阈值决定了提取的边缘有多少,放入edgemat
  4. 为了自定义边缘的绘制并上色,从edgemat中提取边缘的点在原图上进行重新绘制
  5. 将绘制好的image贴到相机上,因为image已经包含了绘制的边缘,所以看上去效果是贴合的。
- (UIImage *)processImage:(UIImage *)image {
    // 传入uiimage
    cv::Mat im;

    UIImageToMat(image, im, 1);
    // uiimage转mat
    if(im.empty()) {
        return nil;
    }
    cv::Mat src = im.clone();
    cv::Mat src_gray;
    // 原图变成灰度图
    if (src.channels()==1)
    {
        src_gray = src;
    }
    if (src.channels() == 3)
    {
        cvtColor(src, src_gray, CV_BGR2GRAY);
    }
    if (src.channels() == 4)
    {
        cvtColor(src, src_gray, CV_BGRA2GRAY);
    }
    cv::Mat edgeMat;
    // 对原图进行高斯模糊
    cv::GaussianBlur(src_gray, src_gray, cv::Size(3,3), cv::BORDER_DEFAULT);
    // 使用Canny进行边缘提取,提取出来的图像放在edgeMat, 后面连个参数是低+高阈值,影响到提取出来的边缘是多是少
    cv::Canny(src_gray, edgeMat, self.lowThreshold, self.lowThreshold * 3);
//    // 生成一张透明的mat
//    cv::Mat dst = cv::Mat(src_gray.size(),CV_8UC4,cv::Scalar(0,0,0,0));;
    std::vector<std::vector<cv::Point>> contours;
    std::vector<cv::Vec4i> hierarchy;
    // 将拿到的边缘提取成点,再做自定义绘制
    cv::findContours(edgeMat, contours, hierarchy, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cv::Point(0, 0));
    UIImage *result;
    // 将提取出来的边缘绘制在原图上,并且设置绘制的颜色,最后转成uiimage,贴合到相机的previewlayer上,就能看到提取绘制的边缘了
    if (hierarchy.size() > 0) {
        cv::Scalar color2(155, 240, 250, 255);
        cv::drawContours( src, contours, -1, color2, -1, cv::LINE_4, hierarchy, INT_MAX, cv::Point(0,0));
        result = MatToUIImage(src);
    } else {
        result = nil;
    }

    return result;
}

动画

  1. 首先是需要一个自定义相机,在相机的outputdelegate方法didOutputSampleBuffer中获取图片,处理,然后再讲处理好的图片放到一个imageview中进行展示。
- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {
    UIImage *image = [self imageFromSampleBuffer:sampleBuffer];
    UIImage *newImage = [self.cannyHelper processImage:image];
    dispatch_async(dispatch_get_main_queue(), ^{
        self.edgeImageView.image = newImage;
    });
}
  1. 使用CAGradientLayer做动画
    动画分为两个部分,首先是蓝色从上往下扫的部分,单独建立一个gradientlayer,其实就是一个渐变色的识图,然后让这个识图从上往下扫。

其次是边缘视图动画,也建一个gradientlayer,只是将这个gradientlayer设置为layer的mask,这样就可以让动画看起来是顶部末尾的边缘渐隐。

让后让两个gradientlayer同时一起做动画,基本就能达到效果了。

- (void)animationEdgeImageView {
    
    UIColor *color1 = [UIColor colorWithRed:(0/255.0)  green:(0/255.0)  blue:(0/255.0)  alpha:0];
    UIColor *color2 = [UIColor colorWithRed:(0/255.0)  green:(0/255.0)  blue:(0/255.0)  alpha:1];
    UIColor *color3 = [UIColor colorWithRed:(0/255.0)  green:(0/255.0)  blue:(0/255.0)  alpha:1];
    NSArray *colors = [NSArray arrayWithObjects:(id)color1.CGColor, color2.CGColor, color3.CGColor,nil];
    NSArray *locations = [NSArray arrayWithObjects:@0.0,@0.5,@1.0, nil];
    CAGradientLayer *gradientAnimLayer = [CAGradientLayer layer];
    gradientAnimLayer.frame = CGRectMake(0, -self.view.frame.size.height, self.view.frame.size.width, self.view.frame.size.height);
    [gradientAnimLayer setColors:colors];
    gradientAnimLayer.locations = locations;
    
    UIColor *color11 = [UIColor colorWithRed:(255/255.0)  green:(255/255.0)  blue:(255/255.0)  alpha:0];
    UIColor *color22 = [UIColor colorWithRed:(155/255.0)  green:(240/255.0)  blue:(240/255.0)  alpha:1];
    NSArray *colors2 = [NSArray arrayWithObjects:(id)color11.CGColor, color22.CGColor,nil];
    NSArray *locations2 = [NSArray arrayWithObjects:@0.7,@1.0, nil];
    CAGradientLayer *gradientColorLayer = [CAGradientLayer layer];
    gradientColorLayer.frame = CGRectMake(0,  -self.view.frame.size.height, self.view.frame.size.width, self.view.frame.size.height);
    [gradientColorLayer setColors:colors2];
    gradientColorLayer.locations = locations2;
    
    self.edgeImageView.layer.mask = gradientAnimLayer;
    [self.edgeImageView.layer addSublayer:gradientColorLayer];
    
    CGPoint originPosition = CGPointMake(self.view.frame.size.width / 2, -self.view.frame.size.height/1.5);
    CGPoint finalPosition = CGPointMake(self.view.frame.size.width / 2, self.view.frame.size.height * 1.5);
    CABasicAnimation *maskLayerAnimation = [CABasicAnimation animationWithKeyPath:@"position"];
    maskLayerAnimation.fromValue = [NSValue valueWithCGPoint:originPosition];
    maskLayerAnimation.toValue = [NSValue valueWithCGPoint:finalPosition];;
    maskLayerAnimation.removedOnCompletion = NO;
    maskLayerAnimation.duration = 4.0;
    maskLayerAnimation.repeatCount = HUGE_VALF;
    maskLayerAnimation.timingFunction = [CAMediaTimingFunction functionWithName:kCAMediaTimingFunctionEaseInEaseOut];
    [gradientAnimLayer addAnimation:maskLayerAnimation forKey:@"maskLayerAnimation"];
    [gradientColorLayer addAnimation:maskLayerAnimation forKey:@"maskLayerAnimation"];
}

最后,代码在Github,来玩:)

  1. https://en.wikipedia.org/wiki/Canny_edge_detector
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容