[ WWDC2018 ] - 计算机视觉和物体追踪 Vision with Core ML and Object Tracking in Vision

一、WWDC2018 Vision

去年IOS11出了Vision框架给开发者提供了使用简单的图像识别方式,本来期待在今年能够拥有更多的图像处理的功能,但是从WWDC2018看来,苹果此番针对Vision框架并没有进行大幅度的升级,功能未变,只是针对IOS12有增加一些修订含义的常量,比如:

  • VNDetectFaceLandmarksRequestRevision1
  • VNDetectFaceLandmarksRequestRevision2
  • VNDetectHorizonRequestRevision1

而关于Vision框架的使用只有两个session的讲解,分别是两个场景下的使用:

场景的使用下的使用并不复杂,我们通过一个具体的Demo来看看。

二、Vision调用CoreML

苹果在大会上演示了一个Demo,Vision框架通过调用CoreML在相机实时的视频流检测识别出物体名称,我们这里也来实现一个。

1、通过AVFoundation构建一个相机

```
- (void)initAVCapturWritterConfig
{
    self.session = [[AVCaptureSession alloc] init];
    //视频
    AVCaptureDevice *videoDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
    if (videoDevice.isFocusPointOfInterestSupported && [videoDevice isFocusModeSupported:AVCaptureFocusModeContinuousAutoFocus]) {
        [videoDevice lockForConfiguration:nil];
        [videoDevice setFocusMode:AVCaptureFocusModeContinuousAutoFocus];
        [videoDevice unlockForConfiguration];
    }
    AVCaptureDeviceInput *cameraDeviceInput = [[AVCaptureDeviceInput alloc] initWithDevice:videoDevice error:nil];
    if ([self.session canAddInput:cameraDeviceInput]) {
        [self.session addInput:cameraDeviceInput];
    }
    //视频
    self.videoOutPut = [[AVCaptureVideoDataOutput alloc] init];
    NSDictionary * outputSettings = [[NSDictionary alloc] initWithObjectsAndKeys:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA],(id)kCVPixelBufferPixelFormatTypeKey, nil];
    [self.videoOutPut setVideoSettings:outputSettings];
    if ([self.session canAddOutput:self.videoOutPut]) {
        [self.session addOutput:self.videoOutPut];
    }
    self.videoConnection = [self.videoOutPut connectionWithMediaType:AVMediaTypeVideo];
    self.videoConnection.enabled = NO;
    [self.videoConnection setVideoOrientation:AVCaptureVideoOrientationPortrait];
    //初始化预览图层
    self.previewLayer = [[AVCaptureVideoPreviewLayer alloc] initWithSession:self.session];
    [self.previewLayer setVideoGravity:AVLayerVideoGravityResizeAspectFill];
}

```

2、引入CoreML的模型

coreml.png

3、初始化Vision框架的请求

```
    //实物识别
    VNCoreMLModel *vnModel = [VNCoreMLModel modelForMLModel:[MobileNet new].model error:nil];
    self.coreMLRequest = [[VNCoreMLRequest alloc] initWithModel:vnModel completionHandler:^(VNRequest * _Nonnull request, NSError * _Nullable error) {
        VNCoreMLRequest *coreR = (VNCoreMLRequest *)request;
        VNClassificationObservation *firstObservation = [coreR.results firstObject];
        dispatch_async(dispatch_get_main_queue(), ^{
            if (firstObservation) {
                self.googleLabel.text = firstObservation.identifier;
            }
            else {
                self.googleLabel.text = @"";
            }
        });
    }];
    self.coreMLRequest.imageCropAndScaleOption = VNImageCropAndScaleOptionCenterCrop;

```

4、相机回调执行

```
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
        UIImage *image = [UIImage imageFromSampleBuffer:sampleBuffer];
        UIImage *scaledImage = [image scaleToSize:CGSizeMake(224, 224)];
        CVPixelBufferRef buffer = [image pixelBufferFromCGImage:scaledImage];
        VNImageRequestHandler *handler = [[VNImageRequestHandler alloc] initWithCVPixelBuffer:buffer options:@{}];
        NSError *error;
        [handler performRequests:@[self.coreMLRequest] error:&error];
}
```

5、结果展示
当我获取的画面返回的时候就会通过MobileNet这个机器学习模型去识别,结果展示在左下角的标签里面。这样也就完成了Vision在CoreML上的调用。

model.gif

三、Vision实现物体追踪

1、人脸请求

这里我们没有使用VNTrackObjectRequest,这里使用了VNDetectFaceLandmarksRequest来实现一个脸部追踪贴纸的效果,调用是一样的。
在上面相机的基础上,我们新建一个脸部识别的请求

```
    self.faceRequest = [[VNDetectFaceLandmarksRequest alloc] initWithCompletionHandler:^(VNRequest * _Nonnull request, NSError * _Nullable error) {
        VNDetectFaceLandmarksRequest *faceRequest = (VNDetectFaceLandmarksRequest*)request;
        VNFaceObservation *firstObservation = [faceRequest.results firstObject];
        dispatch_async(dispatch_get_main_queue(), ^{
            if (firstObservation) {
                CGRect boundingBox = [firstObservation boundingBox];
                CGRect rect = VNImageRectForNormalizedRect(boundingBox,self.realTimeView.frame.size.width,self.realTimeView.frame.size.height);
                CGRect frame = CGRectMake(self.realTimeView.frame.size.width - rect.origin.x - rect.size.width, self.realTimeView.frame.size.height - rect.origin.y - rect.size.height, rect.size.width, rect.size.height);
                self.maskView.frame = frame;
                self.maskView.hidden = NO;
            }
            else {
                self.maskView.hidden = YES;
            }
        })
    }];
```

2、相机回调切换
在上面相机回调的基础上增加一个按钮切换请求模式即可

 - (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection

 {
     if (self.coreMlMode) {

         UIImage *image = [UIImage imageFromSampleBuffer:sampleBuffer];

         UIImage *scaledImage = [image scaleToSize:CGSizeMake(224, 224)];

         CVPixelBufferRef buffer = [image pixelBufferFromCGImage:scaledImage];

         VNImageRequestHandler *handler = [[VNImageRequestHandler alloc] initWithCVPixelBuffer:buffer options:@{}];

         NSError *error;

         [handler performRequests:@[self.coreMLRequest] error:&error];

     }

     else {

         CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);

         VNImageRequestHandler *handler = [[VNImageRequestHandler alloc] initWithCVPixelBuffer:(CVPixelBufferRef)imageBuffer options:@{}];

         NSError *error;

         [handler performRequests:@[self.faceRequest] error:&error];

     }
 }

3、结果展示
我们把镜头放在同事的脸上,就会识别出同事的脸部位置,将预先插入的maskView的frame设置在对应的位置,就能让面具一直追踪脸部紧贴,当没有识别出脸部的时候,就会隐藏面具,效果如下。

face.gif

四、小结
Vision框架为我们封装的视觉处理一些场景下的功能,调用非常简单,但是正是由于调用的简单,对应就达不到一个复杂的功能,一般场景是可以实现的,期待苹果未来能够提供更为丰富的API,比如图片的风格变换等等,我们的应用也会越来越丰富。附带Demo地址,有兴趣的可以下载看看。iOS Vision in Video Streams

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容