本地 iOS HLS 推流实现

HLS 推流实现流程图

概述

本项目实现了基于 FFmpeg 的 HLS (HTTP Live Streaming) 推流功能,支持实时屏幕镜像推流。系统采用"工业级双输出模式",可以同时输出 TS 流和 HLS 流。

核心组件

1. 数据流向

屏幕录制 (ReplayKit Extension)
    ↓
视频/音频编码
    ↓
App Group 共享存储 (group.com.www.123)
    ↓
HTTPTSManager (主 App 管理器)
    ↓
FFmpegHLSMuxer → FFmpegHLSEncoder (FFmpeg 封装)
    ↓
HLS 文件输出 (index.m3u8 + index0.ts, index1.ts, ...)
    ↓
HTTP 服务器 (GCDWebServer) 提供访问
    ↓
客户端播放 (通过 http://IP:Port/HLS/index.m3u8)

详细流程

阶段 1: 初始化 (HTTPTSManager.start)

// 1. 创建 HLS 输出目录
containerURL = FileManager.containerURL(forSecurityApplicationGroupIdentifier: "group.com.123")
hlsOutputDirectory = containerURL.appendingPathComponent("HLS")

// 2. 创建 HLS 封装器
hlsMuxer = FFmpegHLSMuxer(
    width: width,
    height: height,
    frameRate: frameRate,
    audioSampleRate: audioSampleRate,
    audioChannels: audioChannels,
    outputDirectory: hlsOutputDirectory
)

// 3. 启动 HLS 封装器
hlsMuxer?.start()

阶段 2: FFmpeg HLS 封装器初始化 (FFmpegHLSEncoder.start)

// 1. 清理旧文件
cleanupOldFiles()

// 2. 创建 FFmpeg 输出格式上下文 (HLS 格式)
avformat_alloc_output_context2(&formatContext, NULL, "hls", m3u8Path)

// 3. 创建视频流 (H.264)
videoStream = avformat_new_stream(formatContext, NULL)
videoCodecParams->codec_id = AV_CODEC_ID_H264
videoCodecParams->width = width
videoCodecParams->height = height
videoStream->time_base = {1, 90000}  // 90kHz 时钟

// 4. 创建音频流 (AAC)
audioStream = avformat_new_stream(formatContext, NULL)
audioCodecParams->codec_id = AV_CODEC_ID_AAC
audioCodecParams->sample_rate = audioSampleRate
audioStream->time_base = {1, audioSampleRate}

// 5. 配置 HLS 选项
hls_time = 0.5秒          // 每个段 0.5 秒
hls_list_size = 6         // 保留 6 个段 (3秒缓冲)
hls_flags = delete_segments+independent_segments
hls_segment_filename = "%s/index%d.ts"  // 段文件命名模式
hls_start_number = 0      // 从 0 开始编号

阶段 3: 数据接收与处理

// 定时器 (每 10ms 检查一次)
dataTimer = Timer.scheduledTimer(withTimeInterval: 0.01) {
    processEncodedData(isVideo: true)
    processEncodedData(isVideo: false)
}

// 从 App Group 读取编码数据
httpTSDir = containerURL.appendingPathComponent("HTTPTS")
videoDataFile = httpTSDir.appendingPathComponent("video_data.dat")
audioDataFile = httpTSDir.appendingPathComponent("audio_data.dat")

// 解析批量数据格式:
// [length(4字节)][timestamp(4字节)][isKeyFrame(1字节)][NALU数据]
// [length(4字节)][timestamp(4字节)][AAC数据]

阶段 4: H.264 SPS/PPS 设置

// 方法 1: 从文件加载 (优先)
spsFile = rtspDir.appendingPathComponent("sps.dat")
ppsFile = rtspDir.appendingPathComponent("pps.dat")
hlsMuxer?.setH264Extradata(sps: spsData, pps: ppsData)

// 方法 2: 从 NALU 提取 (备用)
if naluType == 7 { // SPS
    cachedSPS = packetData
} else if naluType == 8 { // PPS
    cachedPPS = packetData
}
// 当 SPS 和 PPS 都收集到后,设置 extradata

阶段 5: 视频帧封装 (FFmpegHLSEncoder.packetizeVideoNALU)

// 1. 等待 extradata 设置后写入 header
if (!headerWritten && extradata已设置) {
    avformat_write_header(formatContext, &hlsOptions)
    headerWritten = YES
}

// 2. 创建 AVPacket
AVPacket *packet = av_packet_alloc()
packet->data = nalu数据 (包含起始码 0x00000001)
packet->size = nalu长度

// 3. 设置时间戳 (90kHz 时钟)
packet->pts = timestamp  // 从编码器传入
packet->dts = max(_videoDTS + 1, timestamp)  // 确保单调递增
packet->duration = 90000 / frameRate  // 每帧持续时间

// 4. 标记关键帧
if (isKeyFrame) {
    packet->flags |= AV_PKT_FLAG_KEY
}

// 5. 写入到 FFmpeg
av_interleaved_write_frame(formatContext, packet)

阶段 6: 音频帧封装 (FFmpegHLSEncoder.packetizeAudioAAC)

// 1. 从 ADTS 头提取 extradata (如果未设置)
if (!audioExtradata) {
    从 ADTS 头提取 profile, sampleRateIndex, channelConfig
    构建 AAC 配置 (2 字节)
    audioCodecParams->extradata = AAC配置
}

// 2. 创建 AVPacket (去掉 ADTS 头)
AVPacket *packet = av_packet_alloc()
packet->data = aacData + 7  // 跳过 ADTS 头 (7 字节)
packet->size = aacData.length - 7

// 3. 时间戳转换 (采样率时钟 → 90kHz 时钟)
packet->pts = (timestamp * 90000) / audioSampleRate
packet->dts = max(_audioDTS + 1, packet->pts)
packet->duration = (90000 * 1024) / audioSampleRate  // AAC 每帧 1024 采样

// 4. 写入到 FFmpeg
av_interleaved_write_frame(formatContext, packet)

阶段 7: FFmpeg HLS 段生成

FFmpeg 内部流程:
1. 接收 AVPacket (视频/音频交错)
2. 封装到 MPEG-TS 包
3. 累积到段时长 (0.5秒)
4. 写入段文件: index0.ts, index1.ts, ...
5. 更新 playlist: index.m3u8

index.m3u8 内容示例:
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:1
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:0.5,
index0.ts
#EXTINF:0.5,
index1.ts
...

阶段 8: HTTP 服务器提供访问

// GCDWebServer 配置
WebServer.shared.webServer.addGETHandler(
    forPath: "/HLS/",
    directoryPath: hlsOutputDirectory,
    indexFilename: "index.m3u8",
    cacheAge: 0,
    allowRangeRequests: true
)

// 访问地址
http://[IP地址]:[端口]/HLS/index.m3u8
http://[IP地址]:[端口]/HLS/index0.ts
http://[IP地址]:[端口]/HLS/index1.ts
...

关键特性

1. 低延迟配置

  • 段时长: 0.5 秒 (hls_time)
  • 段数量: 6 个段 (hls_list_size = 6)
  • 总延迟: 约 3 秒 (0.5s × 6)

2. 自动清理旧段

  • hls_flags = delete_segments: FFmpeg 自动删除旧段文件
  • 保持播放列表仅包含最新的 6 个段

3. 独立段模式

  • hls_flags = independent_segments: 每个段可以独立解码
  • 允许播放器更快开始播放

4. 双输出模式 (工业级)

if enableDualOutput {
    // 同时启动 TS 和 HLS 封装器
    tsMuxer = SCFFmpegTSMuxer(...)  // 用于 HTTP TS 流
    hlsMuxer = SCFFmpegHLSMuxer(...)  // 用于 HLS 流
    
    // 数据同时发送到两个封装器
    tsMuxer?.packetizeVideo(...)
    hlsMuxer?.packetizeVideo(...)
}

文件结构

App Group Container (group.com.www.123)
└── HLS/
    ├── index.m3u8          # HLS 播放列表
    ├── index0.ts           # TS 段文件 0
    ├── index1.ts           # TS 段文件 1
    ├── index2.ts           # TS 段文件 2
    └── ...

代码位置

核心文件

  1. HTTPTSManager.swift

    • HLS 推流管理器
    • 协调数据接收、封装和输出
  2. FFmpegHLSMuxer.swift

    • Swift 包装层
    • 封装 Objective-C 实现
  3. FFmpegHLSEncoder.m

    • FFmpeg HLS 封装核心实现
    • 使用 FFmpeg API 生成 HLS 段
  4. FFmpegHLSEncoder.h

    • Objective-C 接口定义
  5. HTTPServer.swift

    • HTTP 服务器实现 (用于 TS 流)
    • HLS 通过 GCDWebServer 提供 (WebServer)

时序图

[Extension]          [HTTPTSManager]    [FFmpegHLSMuxer]    [FFmpeg]
    |                        |                    |                |
    |--编码视频/音频--------->|                    |                |
    |                        |                    |                |
    |                        |--保存到 App Group-->|                |
    |                        |                    |                |
    |                        |<--定时读取数据------|                |
    |                        |                    |                |
    |                        |--packetizeVideo---->|                |
    |                        |                    |--writeFrame--->|
    |                        |                    |                |
    |                        |                    |                |
    |                        |                    |                |
    |                        |                    |<--生成 TS 段---|
    |                        |                    |                |
    |                        |                    |--写入文件系统->|
    |                        |                    |                |
[客户端]                    |                    |                |
    |                        |                    |                |
    |--HTTP GET /HLS/-------->|                    |                |
    |                        |                    |                |
    |<--index.m3u8-----------|                    |                |
    |                        |                    |                |
    |--HTTP GET /HLS/index0.ts->|                    |                |
    |                        |                    |                |
    |<--index0.ts------------|                    |                |

关键技术点

1. 时间戳处理

  • 视频时间戳: 90kHz 时钟 (PTS/DTS)
  • 音频时间戳: 采样率时钟 (如 44100 Hz),转换为 90kHz
  • DTS 单调递增: 确保播放顺序正确

2. Extradata 设置

  • H.264: SPS/PPS (通过 setH264Extradata 设置)
  • AAC: 从 ADTS 头提取配置信息
  • 延迟写入 header: 等待 extradata 设置后再写入

3. 数据格式

  • 视频: NALU 格式 (Annex-B,包含起始码 0x00000001)
  • 音频: ADTS 帧格式 (包含 7 字节 ADTS 头)

4. 段文件管理

  • 自动删除: FFmpeg 自动删除旧段
  • 编号重置: 每次启动从 index0.ts 开始
  • 独立段: 每个段可独立解码
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容