这个章节解释了使用iPhone的摄像头和Opencv来进行视频处理。

预准备

• Xcode 4.3 或更高
• iOS开发的基础知识(Objective-C, Interface Builder)

导入Opencv库到iOS工程

Opencv库作为被调用的框架，你可以直接拖拽到你的工程中。从这里下载最新的库。或者按照iOS安装指南来编译框架。一旦你有了framework，直接拖拽到Xcode：

//
// Prefix header for all source files of the 'VideoFilters' target in the 'VideoFilters' project
//

#import <Availability.h>

#ifndef __IPHONE_4_0
#warning "This project uses features only available in iOS SDK 4.0 and later."
#endif

#ifdef __cplusplus
#import <opencv2/opencv.hpp>
#endif

#ifdef __OBJC__
#import <UIKit/UIKit.h>
#import <Foundation/Foundation.h>
#endif

Example video frame processing project

User Interface

首先，我们创建一个简单的iOS工程，例如Single View Application。然后，我们创建并且添加一个UIImageView和UIButton去启动摄像头和显示视频帧。故事版可以像这样：

请务必将IBOutlets和 IBActions连接到相应的ViewController。

@interface ViewController : UIViewController
{
    IBOutlet UIImageView* imageView;
    IBOutlet UIButton* button;
}

- (IBAction)actionStart:(id)sender;

@end

Adding the Camera

我们添加一个Camera控制器到一个页面控制器并且在页面被load时初始化：

#import <opencv2/highgui/cap_ios.h>
using namespace cv;

@interface ViewController : UIViewController
{
    ...
    CvVideoCamera* videoCamera;
}
...
@property (nonatomic, retain) CvVideoCamera* videoCamera;

@end

- (void)viewDidLoad
{
    [super viewDidLoad];
    // Do any additional setup after loading the view, typically from a nib.
    
    self.videoCamera = [[CvVideoCamera alloc] initWithParentView:imageView];
    self.videoCamera.defaultAVCaptureDevicePosition = AVCaptureDevicePositionFront;
    self.videoCamera.defaultAVCaptureSessionPreset = AVCaptureSessionPreset352x288;
    self.videoCamera.defaultAVCaptureVideoOrientation = AVCaptureVideoOrientationPortrait;
    self.videoCamera.defaultFPS = 30;
    self.videoCamera.grayscale = NO;
}

在这种情况下，我们初始化相机并且把imageView作为渲染每帧的显示。CvVideoCamera是基于'AVFoundion'包装的，所以我们能提供AVFoundation摄像头选择属性。例如我们想要使用前置摄像头，设置视频大小为352x288和视频方向(摄像头通常是横向输出，当你做一个竖向的应用时会导致数据错位)

设置defaultFPS设置为摄像机的FPS， 如果处理少于预期的FPS，帧被自动丢弃。

属性grayscale=YES使用不同的颜色空间，即 “YUV (YpCbCr 4:2:0)”，而grayscale=NO将输出32位BGRA。

此外，我们必须手动添加Opencv库的依赖库。最后，你在你的工程中至少有下面的框架：

• opencv2
• Accelerate
• AssetsLibrary
• AVFoundation
• CoreGraphics
• CoreImage
• CoreMedia
• CoreVideo
• QuartzCore
• UIKit
• Foundation

Processing frames

我们遵循代理模式，这在iOS中十分普遍，提供访问每个摄像帧的权限。基本上， 视图控制器必须实现CvVideoCameraDelegate协议并且设置为视频摄像头的代理：

@interface ViewController : UIViewController<CvVideoCameraDelegate>

- (void)viewDidLoad
{
    ...
    self.videoCamera = [[CvVideoCamera alloc] initWithParentView:imageView];
    self.videoCamera.delegate = self;
    ...
}

#pragma mark - Protocol CvVideoCameraDelegate

#ifdef __cplusplus
- (void)processImage:(Mat&)image;
{
    // Do some OpenCV stuff with the image
}
#endif

请注意我们在这里使用了C++(cv::Mat)。重要提醒：你必须能重命名视图控制器的后缀.m为.mm，以便能在Objective-C++ (Objective-C与 C++ 混编)下编译成功。 然后，当编译器处理C++代码文件时__cplusplus被定义。因此__cplusplus在哪里被定义我们代码就放在哪个代码块里。

Basic video processing

从这你能开始处理视频帧了。例如下面代码片的图片颜色翻转:

- (void)processImage:(Mat&)image;
{
    // Do some OpenCV stuff with the image
    Mat image_copy;
    cvtColor(image, image_copy, CV_BGRA2BGR);
    
    // invert image
    bitwise_not(image_copy, image_copy);
    cvtColor(image_copy, image, CV_BGR2BGRA);
}

开始

最后，我们必须告诉摄像机准确的start/stop工作。接下来的代码当你按下button时启动摄像头，假设你正确的连接用户界面：

#pragma mark - UI Actions

- (IBAction)actionStart:(id)sender;
{
    [self.videoCamera start];
}

Hints

尽可能的避免昂贵的矩阵复制操作，尤其你的目标是实时处理。如果可能，尽可能的就地处理数据。
当你工作在灰度数据时，一次设置grayscale = YES作为YUV颜色空间来让你直接访问亮度平面。

Accelerate框架提供了一些CPU加速的DSP滤波器，这可以让你更得心应手。

原文地址：OpenCV iOS - Video Processing