FFmpeg 入门(7):Seeking

本文转自:FFmpeg 入门(7):Seeking | www.samirchen.com

处理 seek 命令

我们将为播放器添加 seek 的能力。这个过程中,我们会看到 av_seek_frame 用起来有多方便。

我们添加的功能是通过上下左右键能够做快进或快退,其中左右键快进或快退的幅度较小,为 10s,上下键快进或快退的幅度较大,为 60s。所以我们需要在我们的事件处理循环中添加处理按键的逻辑。但是当我们遇到按键事件时,我们不能直接调用 av_seek_frame,我们需要在 decode loop 和 decode_thread loop 进行处理。所以我们需呀在 VideoState 里添加一些变量来记录 seek 的位置以及一些 seek 的标记。

typedef struct VideoState {
    // ... code ...

    int seek_req;
    int seek_flags;
    int64_t seek_pos;

    // ... code ...
}

我们需要在主函数的事件循环中监听按键事件:

for (;;) {
    double incr, pos;
    SDL_WaitEvent(&event);
    switch (event.type) {
        case SDL_KEYDOWN:
            switch (event.key.keysym.sym) {
                case SDLK_LEFT:
                    incr = -10.0;
                    goto do_seek;
                case SDLK_RIGHT:
                    incr = 10.0;
                    goto do_seek;
                case SDLK_UP:
                    incr = 60.0;
                    goto do_seek;
                case SDLK_DOWN:
                    incr = -60.0;
                    goto do_seek;
                do_seek:
                    if (global_video_state) {
                        pos = get_master_clock(global_video_state);
                        pos += incr;
                        stream_seek(global_video_state, (int64_t)(pos * AV_TIME_BASE), incr);
                    }
                    break;
                default:
                    break;
            }
            break;

    // ... code ...
}

当我们监听到按键事件并判断出按键方向时,我们就知道了我们该如何 seek 了,这时候我们通过 get_master_clock() 获得此时的时钟值,并加上要 seek 的时间,然后调用 stream_seek() 函数来设置 seek_pos 等值。我们转换新的时间为 avcodec 的内部时间戳单位。记住,在流中时间戳是通过帧数来度量而不是秒,公式是:seconds = frames * time_base (fps)avcodectime_base 的默认值是 1000000 fps(也就是说 2s 的位置即时间戳为 2000000)。我们将看到我们为什么要转换这个值。

下面是 stream_seek() 函数,我们设置了一个 flag 来标记是快进还是快退:

void stream_seek(VideoState *is, int64_t pos, int rel) {
    if (!is->seek_req) {
        is->seek_pos = pos;
        is->seek_flags = rel < 0 ? AVSEEK_FLAG_BACKWARD : 0;
        is->seek_req = 1;
    }
}

现在我们回到 decode_thread(),我们将在这里做实际的 seek 操作。

我们的 seek 操作是围绕着 av_seek_frame() 函数进行的。这个函数的参数是:AVFormatContext *s, int stream_index, int64_t timestamp, int flags。这个函数将 seek 到你给它的 timestamptimestamp 的单位是你传入的流的 time_base。但是,你可以不用传入一个流,通过传一个 -1 来表示。如果这样的话,time_base 就会是 avcodec 内部的时间戳单位,即 1000000 fps。这就是为什么我们要在设置 seek_pos 时把 position 乘上 AV_TIME_BASE 的原因。

然而,有时候对于有些媒体文件,你传给 av_seek_frame() -1 作为 stream_index 可能会遇到一些问题。所以我们将选择文件中的第一个流传给 av_seek_frame()。不要忘记,这时我们也必须调整我们的时间戳到新的单位。

// Seek stuff goes here.
if (is->seek_req) {
    int stream_index= -1;
    int64_t seek_target = is->seek_pos;
    
    if (is->videoStream >= 0) {
        stream_index = is->videoStream;
    } else if (is->audioStream >= 0) {
        stream_index = is->audioStream;
    }
    
    if (stream_index >= 0){
        seek_target= av_rescale_q(seek_target, AV_TIME_BASE_Q, pFormatCtx->streams[stream_index]->time_base);
    }
    if (av_seek_frame(is->pFormatCtx, stream_index, seek_target, is->seek_flags) < 0) {
        fprintf(stderr, "%s: error while seeking\n", is->pFormatCtx->filename);
    } else {

    // ... code ...

}

av_rescale_q(a, b, c) 这个函数可以将一个时间戳从一个基址调整到另一个基址。它只是简单的计算 a * b / c,但是这个函数是必须的,因为该计算可能溢出。AV_TIME_BASE_QAV_TIME_BASE 的分数版本,他们完全不同:AV_TIME_BASE * time_in_seconds = avcodec_timestamp 以及 AV_TIME_BASE_Q * avcodec_timestamp = time_in_seconds。但要注意,AV_TIME_BASE_Q 实际上是一个 AVRational 对象,因此你必须在 avcodec 中使用特殊的 q 函数来处理它。

刷新缓冲区

我们将 seek 调整完毕,但是还没完全完成。我们有一个存放 packet 的队列,既然现在我们 seek 到别的位置了,那么我们就需要刷新一下这个队列,否则视频就没法 seek 了。不光如此,avcodec 也有它内部的缓冲区,也需要由各对应的线程来刷新。

为此,首先,我们需要写一个函数来清理我们的 packet 队列。然后,我们需要有一些机制来告诉音视频线程来刷新 avcodec 的内部缓冲区。我们可以通过在刷新后的 packet 队列中放一个特殊的 packet 来做到这一点,当 avcodec 探测到这个 packet 时,它就会刷新自己的缓冲区。

我们实现的函数是 packet_queue_flush(),代码如下:

static void packet_queue_flush(PacketQueue *q) {
    AVPacketList *pkt, *pkt1;
    
    SDL_LockMutex(q->mutex);
    for (pkt = q->first_pkt; pkt != NULL; pkt = pkt1) {
        pkt1 = pkt->next;
        av_packet_unref(&pkt->pkt);
        av_freep(&pkt);
    }
    q->last_pkt = NULL;
    q->first_pkt = NULL;
    q->nb_packets = 0;
    q->size = 0;
    SDL_UnlockMutex(q->mutex);
}

既然现在队列已经刷新,接着就是放一个 flush packet,但是首先我们要定义一下它:

AVPacket flush_pkt;

int main(int argc, char *argv[]) {

    // ... code ...

    av_init_packet(&flush_pkt);
    flush_pkt.data = (unsigned char *) "FLUSH";

    // ... code ...

}

现在我们把它放到刷新后的队列中:

// Seek stuff goes here.
if (is->seek_req) {

    // ... code ...

    } else {
        if (is->audioStream >= 0) {
            packet_queue_flush(&is->audioq);
            packet_queue_put(&is->audioq, &flush_pkt);
        }
        if (is->videoStream >= 0) {
            packet_queue_flush(&is->videoq);
            packet_queue_put(&is->videoq, &flush_pkt);
        }
    }
    is->seek_req = 0;
}

上面这段代码在 decode_thread() 中。我们还需要修改一下 packet_queue_put() 函数当是 flush packet 时不做拷贝:

int packet_queue_put(PacketQueue *q, AVPacket *pkt) {
    AVPacketList *pkt1;
    if (pkt != &flush_pkt && av_packet_ref(pkt, pkt) < 0) {
        return -1;
    }

    // ... code ...

}

接着是修改 audio thread 和 video thread,我们在调用 packet_queue_put() 后即检查 flush packet 并调用 avcodec_flush_buffers()

视频线程,在 video_thread() 中:

if (packet_queue_get(&is->videoq, packet, 1) < 0) {
    // Means we quit getting packets.
    break;
}
if (packet->data == flush_pkt.data) {
    avcodec_flush_buffers(is->video_st->codec);
    continue;
}

音频线程,在 audio_decode_frame() 中:

// Next packet.
if (packet_queue_get(&is->audioq, pkt, 1) < 0) {
    return -1;
}
if (pkt->data == flush_pkt.data) {
    avcodec_flush_buffers(is->audio_st->codec);
    continue;
}

以上便是我们这节教程的全部内容,其中的完整代码你可以从这里获得:https://github.com/samirchen/TestFFmpeg

编译执行

你可以使用下面的命令编译它:

$ gcc -o tutorial07 tutorial07.c -lavutil -lavformat -lavcodec -lswscale -lz -lm `sdl-config --cflags --libs`

找一个视频文件,你可以这样执行一下试试:

$ tutorial07 myvideofile.mp4
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容

  • 教程一:视频截图(Tutorial 01: Making Screencaps) 首先我们需要了解视频文件的一些基...
    90后的思维阅读 4,678评论 0 3
  • 本文转自:[FFmpeg 入门(5):视频同步 | www.samirchen.com][2] 视频如何同步 在之...
    SamirChen阅读 2,780评论 0 5
  • 在上一篇笔记中我们已经完成了使用SDL播放声音和视频,声音播放没有什么问题,而视频播放太快,很明显视频没有同步。在...
    762683ff5d3d阅读 1,307评论 0 1
  • 现状:现在视频直播非常的火,所以在视频直播开发中,使用的对视频进行遍解码的框架显得尤为重要了,其实,这种框架蛮多的...
    ZHANG_GO阅读 3,157评论 0 2
  • 几分夜色几度秋 几番辗转几层愁 谁家深院升狗吠 何处寒风扫门楣 人间八月天上景 绵雨难浇满怀情 当年不爱读书日 曾...
    泥泞不染阅读 229评论 0 0