HLS 推流实现流程图
概述
本项目实现了基于 FFmpeg 的 HLS (HTTP Live Streaming) 推流功能,支持实时屏幕镜像推流。系统采用"工业级双输出模式",可以同时输出 TS 流和 HLS 流。
核心组件
1. 数据流向
屏幕录制 (ReplayKit Extension)
↓
视频/音频编码
↓
App Group 共享存储 (group.com.www.123)
↓
HTTPTSManager (主 App 管理器)
↓
FFmpegHLSMuxer → FFmpegHLSEncoder (FFmpeg 封装)
↓
HLS 文件输出 (index.m3u8 + index0.ts, index1.ts, ...)
↓
HTTP 服务器 (GCDWebServer) 提供访问
↓
客户端播放 (通过 http://IP:Port/HLS/index.m3u8)
详细流程
阶段 1: 初始化 (HTTPTSManager.start)
// 1. 创建 HLS 输出目录
containerURL = FileManager.containerURL(forSecurityApplicationGroupIdentifier: "group.com.123")
hlsOutputDirectory = containerURL.appendingPathComponent("HLS")
// 2. 创建 HLS 封装器
hlsMuxer = FFmpegHLSMuxer(
width: width,
height: height,
frameRate: frameRate,
audioSampleRate: audioSampleRate,
audioChannels: audioChannels,
outputDirectory: hlsOutputDirectory
)
// 3. 启动 HLS 封装器
hlsMuxer?.start()
阶段 2: FFmpeg HLS 封装器初始化 (FFmpegHLSEncoder.start)
// 1. 清理旧文件
cleanupOldFiles()
// 2. 创建 FFmpeg 输出格式上下文 (HLS 格式)
avformat_alloc_output_context2(&formatContext, NULL, "hls", m3u8Path)
// 3. 创建视频流 (H.264)
videoStream = avformat_new_stream(formatContext, NULL)
videoCodecParams->codec_id = AV_CODEC_ID_H264
videoCodecParams->width = width
videoCodecParams->height = height
videoStream->time_base = {1, 90000} // 90kHz 时钟
// 4. 创建音频流 (AAC)
audioStream = avformat_new_stream(formatContext, NULL)
audioCodecParams->codec_id = AV_CODEC_ID_AAC
audioCodecParams->sample_rate = audioSampleRate
audioStream->time_base = {1, audioSampleRate}
// 5. 配置 HLS 选项
hls_time = 0.5秒 // 每个段 0.5 秒
hls_list_size = 6 // 保留 6 个段 (3秒缓冲)
hls_flags = delete_segments+independent_segments
hls_segment_filename = "%s/index%d.ts" // 段文件命名模式
hls_start_number = 0 // 从 0 开始编号
阶段 3: 数据接收与处理
// 定时器 (每 10ms 检查一次)
dataTimer = Timer.scheduledTimer(withTimeInterval: 0.01) {
processEncodedData(isVideo: true)
processEncodedData(isVideo: false)
}
// 从 App Group 读取编码数据
httpTSDir = containerURL.appendingPathComponent("HTTPTS")
videoDataFile = httpTSDir.appendingPathComponent("video_data.dat")
audioDataFile = httpTSDir.appendingPathComponent("audio_data.dat")
// 解析批量数据格式:
// [length(4字节)][timestamp(4字节)][isKeyFrame(1字节)][NALU数据]
// [length(4字节)][timestamp(4字节)][AAC数据]
阶段 4: H.264 SPS/PPS 设置
// 方法 1: 从文件加载 (优先)
spsFile = rtspDir.appendingPathComponent("sps.dat")
ppsFile = rtspDir.appendingPathComponent("pps.dat")
hlsMuxer?.setH264Extradata(sps: spsData, pps: ppsData)
// 方法 2: 从 NALU 提取 (备用)
if naluType == 7 { // SPS
cachedSPS = packetData
} else if naluType == 8 { // PPS
cachedPPS = packetData
}
// 当 SPS 和 PPS 都收集到后,设置 extradata
阶段 5: 视频帧封装 (FFmpegHLSEncoder.packetizeVideoNALU)
// 1. 等待 extradata 设置后写入 header
if (!headerWritten && extradata已设置) {
avformat_write_header(formatContext, &hlsOptions)
headerWritten = YES
}
// 2. 创建 AVPacket
AVPacket *packet = av_packet_alloc()
packet->data = nalu数据 (包含起始码 0x00000001)
packet->size = nalu长度
// 3. 设置时间戳 (90kHz 时钟)
packet->pts = timestamp // 从编码器传入
packet->dts = max(_videoDTS + 1, timestamp) // 确保单调递增
packet->duration = 90000 / frameRate // 每帧持续时间
// 4. 标记关键帧
if (isKeyFrame) {
packet->flags |= AV_PKT_FLAG_KEY
}
// 5. 写入到 FFmpeg
av_interleaved_write_frame(formatContext, packet)
阶段 6: 音频帧封装 (FFmpegHLSEncoder.packetizeAudioAAC)
// 1. 从 ADTS 头提取 extradata (如果未设置)
if (!audioExtradata) {
从 ADTS 头提取 profile, sampleRateIndex, channelConfig
构建 AAC 配置 (2 字节)
audioCodecParams->extradata = AAC配置
}
// 2. 创建 AVPacket (去掉 ADTS 头)
AVPacket *packet = av_packet_alloc()
packet->data = aacData + 7 // 跳过 ADTS 头 (7 字节)
packet->size = aacData.length - 7
// 3. 时间戳转换 (采样率时钟 → 90kHz 时钟)
packet->pts = (timestamp * 90000) / audioSampleRate
packet->dts = max(_audioDTS + 1, packet->pts)
packet->duration = (90000 * 1024) / audioSampleRate // AAC 每帧 1024 采样
// 4. 写入到 FFmpeg
av_interleaved_write_frame(formatContext, packet)
阶段 7: FFmpeg HLS 段生成
FFmpeg 内部流程:
1. 接收 AVPacket (视频/音频交错)
2. 封装到 MPEG-TS 包
3. 累积到段时长 (0.5秒)
4. 写入段文件: index0.ts, index1.ts, ...
5. 更新 playlist: index.m3u8
index.m3u8 内容示例:
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:1
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:0.5,
index0.ts
#EXTINF:0.5,
index1.ts
...
阶段 8: HTTP 服务器提供访问
// GCDWebServer 配置
WebServer.shared.webServer.addGETHandler(
forPath: "/HLS/",
directoryPath: hlsOutputDirectory,
indexFilename: "index.m3u8",
cacheAge: 0,
allowRangeRequests: true
)
// 访问地址
http://[IP地址]:[端口]/HLS/index.m3u8
http://[IP地址]:[端口]/HLS/index0.ts
http://[IP地址]:[端口]/HLS/index1.ts
...
关键特性
1. 低延迟配置
- 段时长: 0.5 秒 (hls_time)
- 段数量: 6 个段 (hls_list_size = 6)
- 总延迟: 约 3 秒 (0.5s × 6)
2. 自动清理旧段
-
hls_flags = delete_segments: FFmpeg 自动删除旧段文件 - 保持播放列表仅包含最新的 6 个段
3. 独立段模式
-
hls_flags = independent_segments: 每个段可以独立解码 - 允许播放器更快开始播放
4. 双输出模式 (工业级)
if enableDualOutput {
// 同时启动 TS 和 HLS 封装器
tsMuxer = SCFFmpegTSMuxer(...) // 用于 HTTP TS 流
hlsMuxer = SCFFmpegHLSMuxer(...) // 用于 HLS 流
// 数据同时发送到两个封装器
tsMuxer?.packetizeVideo(...)
hlsMuxer?.packetizeVideo(...)
}
文件结构
App Group Container (group.com.www.123)
└── HLS/
├── index.m3u8 # HLS 播放列表
├── index0.ts # TS 段文件 0
├── index1.ts # TS 段文件 1
├── index2.ts # TS 段文件 2
└── ...
代码位置
核心文件
-
HTTPTSManager.swift
- HLS 推流管理器
- 协调数据接收、封装和输出
-
FFmpegHLSMuxer.swift
- Swift 包装层
- 封装 Objective-C 实现
-
FFmpegHLSEncoder.m
- FFmpeg HLS 封装核心实现
- 使用 FFmpeg API 生成 HLS 段
-
FFmpegHLSEncoder.h
- Objective-C 接口定义
-
HTTPServer.swift
- HTTP 服务器实现 (用于 TS 流)
- HLS 通过 GCDWebServer 提供 (WebServer)
时序图
[Extension] [HTTPTSManager] [FFmpegHLSMuxer] [FFmpeg]
| | | |
|--编码视频/音频--------->| | |
| | | |
| |--保存到 App Group-->| |
| | | |
| |<--定时读取数据------| |
| | | |
| |--packetizeVideo---->| |
| | |--writeFrame--->|
| | | |
| | | |
| | | |
| | |<--生成 TS 段---|
| | | |
| | |--写入文件系统->|
| | | |
[客户端] | | |
| | | |
|--HTTP GET /HLS/-------->| | |
| | | |
|<--index.m3u8-----------| | |
| | | |
|--HTTP GET /HLS/index0.ts->| | |
| | | |
|<--index0.ts------------| | |
关键技术点
1. 时间戳处理
- 视频时间戳: 90kHz 时钟 (PTS/DTS)
- 音频时间戳: 采样率时钟 (如 44100 Hz),转换为 90kHz
- DTS 单调递增: 确保播放顺序正确
2. Extradata 设置
- H.264: SPS/PPS (通过 setH264Extradata 设置)
- AAC: 从 ADTS 头提取配置信息
- 延迟写入 header: 等待 extradata 设置后再写入
3. 数据格式
- 视频: NALU 格式 (Annex-B,包含起始码 0x00000001)
- 音频: ADTS 帧格式 (包含 7 字节 ADTS 头)
4. 段文件管理
- 自动删除: FFmpeg 自动删除旧段
- 编号重置: 每次启动从 index0.ts 开始
- 独立段: 每个段可独立解码