最近收集了一些关于视频直播的资料,目前主流的技术是上推使用RTMP协议,服务端基于nginx的nginx-rtmp-module模块来增加对HLS的支持,下行播放支持RTMP协议和HLS协议。
RTMP协议
Real Time Messaging Protocol 是Adobe公司为Flash播放器和服务器之间音、视频及数据传输开发的实时消息传送协议。协议中,视频必须是H264编码,音频必须是AAC或MP3编码,且多以flv格式封包。
HLS协议
Http Live Streaming 是由Apple公司定义的基于HTTP的流媒体实时传输协议。它的原理是将整个流分为一个一个小的文件来下载,每次只下载若干个。传输内容包括两部分:一是M3U8描述文件,二是TS媒体文件。TS媒体文件中的视频必须是H264编码,音频必须是AAC或MP3编码。
在客户端上要完成直播视频的采集及RTMP上推,主要需要以下几个步骤:
音视频的采集;
对视频进行H264编码,对音频进行AAC编码;
对编码后的音、视频数据进行FLV封包;
建立RTMP连接并上推到服务端。
在音视频的采集上,直接使用AVFoundation.framework的AVCaptureSession即可获得原始的CMSampleBufferRef格式音视频数据。
而在将原始视频编码过程中,有两种方案:一种是利用第三方库FFmpeg 进行编码,一种是利用iOS自身的AVAssetWriter 或VideoToolBox.framework的VTCompressionSession进行编码。FFmpeg因其跨平台及功能丰富等诸多优势,被广泛使用。而使用AVAssetWriter编码需要将视频写入本地文件,然后通过实时监听文件内容的改变,读取文件并处理封包。从iOS8开始,VideoToolBox提供了硬件编码支持,可以使用VTCompressionSession进行编码。
相关项目及文档
使用FFmpeg编码:
利用FFmpeg+x264将iOS摄像头实时视频流编码为h264文件 文章
使用iOS自身编码:
LiveVideoCoreSDK 基于上面VideoCore,使用librtmp库进行推流。
UCloud官博的视频直播技术文章:
VideoCore
VideoCore是一个开源的iOS平台音视频RTMP推流项目。支持实时滤镜效果和水印功能。在视频编码方面,iOS8以下使用AVAssetWriter进行编码:先把数据写入本地临时文件appendPixelBuffer,再读取文件数据fread. iOS8及以上采用了VideoToolBox的硬编码:VTCompressionSessionCreate创建session,当pushBuffer数据来时,调用VTCompressionSessionEncodeFrame压缩数据。
推流的初始化过程如下,查看大图
预览界面的初始化过程如下,查看大图
水印和滤镜特效的初始化过程如下,查看大图:
音视频的编码过程如下图所示,查看大图:
相关类的类图如下,查看大图: