iOS自定义音视频采集问题汇总

公司的直播项目一直采用的网易云的直播SDK，后来产品需求需要我们使用手机端作为音视频采集设备，使用电视端作为传输与显示媒介，把视频数据展示在电视和Windows端，音频只展示Windows端，这样一个需求，这样我这边需要做到的：
1.音视频采集已经考虑的传输数据大小问题需要对音视频进行压缩编码
2.数据传输，因为电视和手机在同一个局域网所以，我们使用socket进行数据传输
以上两点看似简单其实里面内容挺多，各种问题的出现让我在这个项目中跌了很多跟头，对于遇到的问题做以下记录

音视频采集

iOS这边处理音视频采集并不难，网上教程一大把，特别是视频采集很简单，只需有一点要注意就是像素的大小设置，苹果有两种方案：一种是你自定义画布大小，第二个你使用硬件支持的大小

自定义大小
pixW = 320;pixH = 240; //画布宽高自定义
self.captureSession.sessionPreset = AVCaptureSessionPresetHigh; //画质 采用最高 数据也比较大
使用硬件支持

这个需要你使用系统像素采集的宽高

if ([self.captureSession canSetSessionPreset:AVCaptureSessionPreset1280x720]) { //判断当前采集的设备 是否支持 这个像素
 self.captureSession.sessionPreset = AVCaptureSessionPreset1280x720;

音频这边的就有多个选择, 比如:AVCaptureDevice, AudioQueue以及Audio Unit。其中 Audio Unit是最底层的接口，它的优点是功能强大，延迟低; 而缺点是学习成本高，难度大。对于一般的iOS应用程序，AVCaptureDevice和AudioQueue完全够用了。但对于音视频直播，最好还是使用 Audio Unit 进行处理，这样可以达到最佳的效果。
因为我这边做的是直播的所以为了追求低延迟，最好的效果，就采用了Audio Unit进行处理，因为都是C语言的代码而且还要和OC进行结合所以学习起来确实很费劲 所以对里面的关键代码做了注释

 // AVAudioSession的接口比较简单。APP启动的时候会自动帮激活AVAudioSession，我们可以手动 设置 开始的时候b可以播放也可以录音
AVAudioSession* session = [AVAudioSession sharedInstance];
[session setCategory:AVAudioSessionCategoryPlayAndRecord withOptions:AVAudioSessionCategoryOptionDefaultToSpeaker error:&error];
[session setActive:YES error:nil];   
//启用录音功能
UInt32 inputEnableFlag = 1;
CheckError(AudioUnitSetProperty(_remoteIOUnit,
                                kAudioOutputUnitProperty_EnableIO,
                                kAudioUnitScope_Input,
                                1,
                                &inputEnableFlag,
                                sizeof(inputEnableFlag)),
           "Open input of bus 1 failed");
//    Open output of bus 0(output speaker)//禁用播放功能
UInt32 outputEnableFlag = 1;
CheckError(AudioUnitSetProperty(_remoteIOUnit,
                                kAudioOutputUnitProperty_EnableIO,
                                kAudioUnitScope_Output,
                                0,
                                &outputEnableFlag,
                                sizeof(outputEnableFlag)),
           "Open output of bus 0 failed");
//Set up stream format for input and output
/**
 AudioStreamBasicDescription:
 mSampleRate;       采样率, eg. 44100
 mFormatID;         格式, eg. kAudioFormatLinearPCM
 mFormatFlags;      标签格式, eg. kAudioFormatFlagIsSignedInteger | kAudioFormatFlagIsPacked
 mBytesPerPacket;   每个Packet的Bytes数量, eg. 2
 mFramesPerPacket;  每个Packet的帧数量, eg. 1
 mBytesPerFrame;    (mBitsPerChannel / 8 * mChannelsPerFrame) 每帧的Byte数, eg. 2
 mChannelsPerFrame; 1:单声道；2:立体声, eg. 1
 mBitsPerChannel;   语音每采样点占用位数[8/16/24/32], eg. 16
 mReserved;         保留
 */
_streamFormat.mFormatID = kAudioFormatLinearPCM;
_streamFormat.mFormatFlags = kAudioFormatFlagIsSignedInteger | kAudioFormatFlagIsPacked;
_streamFormat.mSampleRate = kRate;
_streamFormat.mFramesPerPacket = 1;
_streamFormat.mBytesPerFrame = 2;
_streamFormat.mBytesPerPacket = 2;
_streamFormat.mBitsPerChannel = kBits;
_streamFormat.mChannelsPerFrame = kChannels;

CheckError(AudioUnitSetProperty(_remoteIOUnit,
                                kAudioUnitProperty_StreamFormat,
                                kAudioUnitScope_Input,
                                0,
                                &_streamFormat,
                                sizeof(_streamFormat)),
           "kAudioUnitProperty_StreamFormat of bus 0 failed");
CheckError(AudioUnitSetProperty(_remoteIOUnit,
                                kAudioUnitProperty_StreamFormat,
                                kAudioUnitScope_Output,
                                1,
                                &_streamFormat,
                                sizeof(_streamFormat)),
           "kAudioUnitProperty_StreamFormat of bus 1 failed");

//音频采集结果回调
AURenderCallbackStruct recordCallback;
recordCallback.inputProc = recordCallback_xb;
recordCallback.inputProcRefCon = (__bridge void *)(self);
CheckError(AudioUnitSetProperty(_remoteIOUnit,
                            kAudioOutputUnitProperty_SetInputCallback,
                                kAudioUnitScope_Output,
                                1,
                                &recordCallback,
                                sizeof(recordCallback)),
           "couldnt set remote i/o render callback for output");

音视频编码

视频我采用的是常用的H264编码，之前说了视频采集很简单，但视频264编码也是C语言写里面的设置还是有很多需要注意的

OSStatus status = VTCompressionSessionCreate(NULL,//分配器,如果使用NULL的话,就使用默认的. CFAllocatorRef  _Nullable allocator
                                                 width,//视频帧的象素宽 int32_t width
                                                 height,//视频帧的象素高 int32_t height
                                                 kCMVideoCodecType_H264,//编码器的类型 CMVideoCodecType codecType
                                                 NULL,//如果用指定的视频编码器,就要设置这个.使用NULL就是videoToolbox自己选择一个 CFDictionaryRef  _Nullable encoderSpecification
                                                 NULL,//元象素缓存,如果你不要videoToolbox给你创建,就传NULL.使用非VTB分配的缓存,可以让你有机会拷贝图片 CFDictionaryRef  _Nullable sourceImageBufferAttributes,
                                                 NULL,//压缩数据分配器.传NULL可以使用默认的. CFAllocatorRef  _Nullable compressedDataAllocator
                                                 didCompressH264,//回调,这个方法会在另一个线程上被异步的VTCompressionSessionEncodeFrame调用.只有在你要使VTCompressionSessionEncodeFrameWithOutputHandler去编码帧时,才可以设置为NULL. VTCompressionOutputCallback  _Nullable outputCallback
                                                 (__bridge void *)(self),//回调方法所在的实例,回调方法是全局的可以设置为NULL void * _Nullable outputCallbackRefCon
                                                 &EncodingSession);//用来接收新的compression session VTCompressionSessionRef  _Nullable * _Nonnull compressionSessionOut
    NSLog(@"H264: VTCompressionSessionCreate %d", (int)status);
// Set the properties
    VTSessionSetProperty(EncodingSession, kVTCompressionPropertyKey_RealTime, kCFBooleanTrue);//实时运行
    VTSessionSetProperty(EncodingSession, kVTCompressionPropertyKey_AllowFrameReordering, kCFBooleanFalse);
    
    //设置码率，均值，单位是byte
    SInt32 bitRate = width*height*3 * 4 * 8 * 2;  //越高效果越屌  帧数据越大
    CFNumberRef ref = CFNumberCreate(kCFAllocatorDefault, kCFNumberSInt32Type, &bitRate);
    VTSessionSetProperty(EncodingSession, kVTCompressionPropertyKey_AverageBitRate, ref);
    CFRelease(ref);
    //设置码率上限，均值，单位是byte
    int bitRateLimit = width * height * 3 * 4 * 2;
    CFNumberRef bitRateLimitRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberSInt32Type, &bitRateLimit);
    VTSessionSetProperty(EncodingSession, kVTCompressionPropertyKey_DataRateLimits, bitRateLimitRef);
    
    int frameInterval = 10; //关键帧间隔 越低效果越屌 帧数据越大
    CFNumberRef  frameIntervalRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &frameInterval);
    VTSessionSetProperty(EncodingSession, kVTCompressionPropertyKey_MaxKeyFrameInterval,frameIntervalRef);
    CFRelease(frameIntervalRef);

设置码率这个一定要 把宽高数据放大100倍左右不然图像会很模糊，当时因为这个问题困扰了我3天，其他倒是没有太大问题的

Socket 数据传输

socket我采用的是GCDAsyncSocket 这个框架,使用方法也很简单网上教程很多，在这不再详述，只是记录一下注意的问题
比如数据传输 常量数据进行大小端转换问题 ，还有因为数据都是采用二级制进行发送所以要对数据进行组合，但是音视频发送数据要单独写一个方法，不然NSMutableData 对象会造成内存泄露无法释放，原因是视频采集的代理方法执行速度太快导致此对象释放不及时

char sign[8] = "KOCLACMD";
uint16_t  data_type  = 0x02;
uint16_t  media_type = 0x06;
uint32_t  width  =  pixW;
uint32_t  height =  pixH;
uint32_t  len =  (uint32_t)data.length;
// 字节序转换 小端模式转换大端 匹配网络字节序
HTONS(data_type);
HTONS(media_type);
HTONL(len);
HTONL(width);
HTONL(height);

NSMutableData *muta = [NSMutableData data];
[muta appendBytes:&sign length:8];
[muta appendBytes:&data_type length:2];
[muta appendBytes:&media_type length:2];
[muta appendBytes:&len length:4];
[muta appendBytes:&width length:4];
[muta appendBytes:&height length:4];
[muta appendData:data];
//    NSLog(@"Video data (%lu): %@", (unsigned long)muta.length, muta.description);
[_clientSocket writeData:muta withTimeout:-1 tag:0];

因为你传输到其他端比如后台所以涉及到常量类型的数据要进行大小端转换，而且还要注意 short 类型转换和 long类型转换的方法不同
其他也没有什么了

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • ios利用mic采集Pcm转为AAC，AudioQueue、AudioUnit(流式)
    本例需求：将Mic采集的PCM转成AAC，可得到两种不同数据,本例采用AudioQueue/AudioUnit两种...
    小东邪啊阅读 19,187评论 67赞 54
  • 数字音视频开发笔记
    ### YUV颜色空间 视频是由一帧一帧的数据连接而成，而一帧视频数据其实就是一张图片。 yuv是一种图片储存格式...
    天使君阅读 3,486评论 0赞 4
  • 面试题
    Swift1> Swift和OC的区别1.1> Swift没有地址/指针的概念1.2> 泛型1.3> 类型严谨 对...
    cosWriter阅读 11,174评论 1赞 32
  • 叶
    我只是一片普普通通的小叶子 即使在万千相似的模样中 也不是那么突兀 只是坐着自己 默默奉献一点点呼吸 也许微不足道...
    萋萋月下阅读 170评论 0赞 0
  • 仓促
    笃信什么 要把一日的性命送给一棵酸枣树 换它坚硬的核，蜜糖的想象 或要把一日的性命送给别的？ 归鸿的暮色，长亭古道...
    寻桨阅读 443评论 2赞 7