视频在播放过程中如果没有基本的播放控制功能,只能从头一直正常的播放到结束是一件非常糟糕的事。该节就来解决这个看起来很简单但又非常重要的问题。
✅ 第一节 - Hello FFmpeg
✅ 第二节 - 软解视频流,渲染 RGB24
✅ 第三节 - 认识YUV
✅ 第四节 - 硬解码,OpenGL渲染YUV
✅ 第五节 - Metal 渲染YUV
✅ 第六节 - 解码音频,使用AudioQueue 播放
✅ 第七节 - 音视频同步
🔔 第八节 - 完善播放控制
📗 第九节 - 倍速播放
📗 第十节 - 增加视频过滤效果
📗 第十一节 - 音频变声
该节 Demo 地址: https://github.com/czqasngit/ffmpeg-player/releases/tag/Player-Control
实例代码提供了Objective-C与Swift两种实现,为了方便说明,文章引用的是Objective-C代码,因为Swift代码指针看着不简洁。
该节最终效果如下图:
目标
- 实现播放与暂停
- 实现前进与后退
- 实现拖动滑块改变播放时间点
实现播放与暂停
音频的播放与图像的渲染是分开的,需要分别对音频播放与图像渲染分开控制即可
音频使用了AudioQueu,所以它的的暂停与播放控制代码如下:
- (void)pause {
AudioQueuePause(audioQueue);
NSLog(@"[音频]暂停");
}
- (void)resume {
AudioQueueStart(audioQueue, NULL);
NSLog(@"[音频]恢复");
}
视频则是通过定时器进行控制的,所以它的暂停与播放控制代码如下:
- (void)startVideoRender {
if(self->video_render_timer) {
dispatch_source_cancel(self->video_render_timer);
}
self->video_render_timer = dispatch_source_create(DISPATCH_SOURCE_TYPE_TIMER, 0, 0, video_render_dispatch_queue);
float duration = 1.0 / self.fps * NSEC_PER_SEC;
dispatch_source_set_timer(self->video_render_timer, DISPATCH_TIME_NOW, duration, duration);
dispatch_source_set_event_handler(self->video_render_timer, ^{
[self playNextVideoFrame];
});
dispatch_resume(self->video_render_timer);
}
- (void)stopVideoRender {
if(self->video_render_timer) dispatch_cancel(self->video_render_timer);
self->video_render_timer = NULL;
}
#pragma mark - Public
- (void)start {
[self startVideoRender];
}
- (void)stop {
[self stopVideoRender];
}
- (void)pause {
[self stop];
}
- (void)resume {
[self start];
}
暂停与播放实现比较简单
实现前进与后退
在实现前进与后退之前,需要实现播放的seek功能,即设置视频的播放时间点。好在ffmpeg已经内置了这个功能,但是还是有一些细节需要特别注意与处理
实现seek到具体某个时间点的功能
ffmpeg提供了seek的功能,它的定义如下:
int av_seek_frame(AVFormatContext *s,
int stream_index,
int64_t timestamp,
int flags)
stream_index: 需要操作的目标流AVStream,如果设置成-1则由ffmpeg自动操作选择一个默认的对象
timestamp: 设置需要seek到的时间点,它的单位是AVStream.time_base
flags:定义的枚举如下
#define AVSEEK_FLAG_BACKWARD 1 ///< 在设置的时间点向前找关键帧作为最终设置的目标时间点
#define AVSEEK_FLAG_BYTE 2 ///< 基于字节进行设置
#define AVSEEK_FLAG_ANY 4 ///< 设置到任意帧,如果该帧不是关键帧则丢弃向后寻找关键帧
#define AVSEEK_FLAG_FRAME 8 ///< 设置到任意帧,如果该帧不是关键帧则丢弃向后寻找关键帧
如果的设置实例代码如下:
av_seek_frame(self->formatContext, -1, time * AV_TIME_BASE, AVSEEK_FLAG_BACKWARD);
完整的seek流程是这样的:
- 1.暂停播放器
- 2.清空音频与图像播放列队中的缓冲数据
- 3.清空音频播放器AudioQueue中的缓冲数据
- 4.清空ffmpeg中解码缓冲数据
- 5.调用av_seek_frame
- 6.唤醒解码线程继续解码
- 7.恢复播放器继续播放
完整实例代码如下:
- (void)seekTo:(float)time {
[self pause];
[self.audioFrameCacheQueue clean];
[self.videoFrameCacheQueue clean];
pthread_mutex_lock(&(self->mutex));
avcodec_flush_buffers([_mediaVideoContext codecContext]);
avcodec_flush_buffers([_mediaAudioContext codecContext]);
[self.audioPlayer cleanQueueCacheData];
av_seek_frame(self->formatContext, -1, time * AV_TIME_BASE, AVSEEK_FLAG_BACKWARD);
_NotifyWaitThreadWakeUp(self.decodeCondition);
pthread_mutex_unlock(&(self->mutex));
[self resume];
}
实现前进与后退
在seek的功能上实现前进与后退就变得非常简单了:
/// 后退
[self seekTo:self.currentTime - 3];
/// 前进
[self seekTo:self.currentTime + 3];
实现拖动滑块改变播放时间点
拖动的实现也是基于seek功能,这里需要注意一点的是在点击滑动的时候需要将播放暂停,在AppKit中使用NSSlider实现这一功能时需要单独实现
@interface _NSSlider : NSSlider
@property (nonatomic, strong)void(^mouseDownBlock)(void);
@end
@implementation _NSSlider
- (void)mouseDown:(NSEvent *)event {
NSLog(@"滑动: 鼠标按下");
self.mouseDownBlock();
[super mouseDown:event];
}
@end
_NSSlider的变量continuous值设置成false,关闭拖动过程中连续的事件回调,只保留最后鼠标弹起来时的最后一次回调即可。在playerReadyToPlay回调函数中设置好_NSSlider的maxValue与minValue。
通过设置_NSSlider的action与target可以得到回调时具体需要seek的时间点。
[self seekTo:sender.floatValue];
到此基本的视频控制功能就已经实现好了,具体的实现代码请查看git repo对应的tag。如果基于iOS UI上的实现更简单。AppKit的交互实现不是太友好。
总结:
- 实现播放与暂停,通过对音频播放与图像渲染分别进行暂停与播放的控制。
- 实现前进与后退,在seek实现的基础上轻松实现前进与快退。
- 实现拖动滑块改变播放时间点,在seek的实现基础上轻松实现拖动功能,但需要特别注意
NSSlider的实现。
更多内容请关注微信公众号<<程序猿搬砖>>
