4. DirectShow-数据流动的过程

数据与数据缓冲区

数据保存在缓冲区中,缓冲区只是字节数组。 每个缓冲区由名为 MediaSample的 COM 对象包装,该对象实现 IMediaSample 接口。 MediaSample由另一种类型的对象(称为分配器)创建,该对象实现 IMemAllocator 接口。 虽然两个或更多个pin连接可能共享同一分配器,但为每个pin连接分配一个分配器。 下图演示了此过程。

image.png

MediaSample是承载数据的载体

每个分配器创建MediaSample池,并为每个MediaSample分配缓冲区。 每当filter需要使用数据填充缓冲区时,它都会通过调用 IMemAllocator::GetBuffer 从分配器请求MediaSample。 如果分配器具有其他filter当前未使用的任何MediaSample, GetBuffer 方法将立即返回,并返回指向MediaSample的指针。 如果分配器的所有MediaSample都在使用中,则 方法将阻塞,直到MediaSample可用。 当 方法返回MediaSample时,filter会将数据放入MediaSample里面的缓冲区, (设置相应的标志,通常包括时间戳) ,并将MediaSample传送到下游。

当呈现器filter收到MediaSample时,它会检查时间戳并保留MediaSample,直到filter图的引用时钟指示应呈现数据。 filter呈现数据后,会释放MediaSample。 在MediaSample的引用计数为零之前,MediaSample不会返回到分配器的MediaSample池中,这意味着每个filter都释放了MediaSample。 下图演示了此过程。

image.png

MediaSample可以作为上游生产者和下游消费者中间的缓冲帧

上游filter可能在呈现器之前运行,也就是说,它填充缓冲区的速度可能比呈现器使用缓冲区快。 即便如此,MediaSample也不会提前呈现,因为呈现器会保留每个MediaSample,直到其呈现时间为止。 此外,上游filter不会意外覆盖缓冲区,因为 GetSample 仅返回未使用的示例。 上游filter可以提前运行的数量取决于分配器池中的MediaSample数。

上图仅显示一个分配器,但通常每个流有多个分配器。 因此,当呈现器释放示例时,它可以具有级联效果。 下图显示了解码器在等待呈现器释放示例时保存压缩的视频帧的情况。 分析器filter也在等待解码器发布示例。

image.png

当呈现器释放其示例时,解码器对 GetBuffer 的挂起调用将返回。 然后,解码器可以解码压缩的视频帧并释放它所持有的MediaSample,从而解除阻塞程序挂起的 GetBuffer 调用。

本地内存的数据传输机制

DirectShow 定义了本地内存传输的两种机制:推送模型和拉取模型。

在推送模型中,源filter生成数据并将其传递到下游的下一个filter。 该filter被动接收数据、处理数据,并将数据发送到下游。
在拉取模型中,源filter连接到分析器filter。 分析程序filter从源filter请求数据。 源filter通过传递数据来响应请求。
推送模型使用 IMemInputPin 接口,拉取模型使用 IAsyncReader 接口。
推送模型比拉取模型更常见。 因此,以下文章采用推送模型。 本部分的最后一篇文章 “拉取模型”介绍了 IAsyncReader 接口与 IMemInputPin 的区别。

pin将媒体数据传送到另一个pin时,它不会将直接指针传递给内存缓冲区。 相反,它传递指向管理内存的 COM 对象的指针。 此对象称为 MediaSample,公开 IMediaSample 接口。 接收pin通过调用 IMediaSample::GetPointer、IMediaSample::GetSize 和 IMediaSample::GetActualDataLength 等方法来访问内存缓冲区。

MediaSample始终从输出pin到输入pin向下游移动。 在推送模型中,输出pin通过在输入pin上调用 IMemInputPin::Receive 来提供MediaSample。 输入pin将完全在 Receive 方法内同步 (处理数据) ,或在工作线程上异步处理数据。 如果需要等待资源,则允许输入pin在 Receive 方法中阻塞。

在 IMemInputPin 接口中,上游filter确定要发送的数据,并将数据推送到下游filter。 对于某些filter, 拉取模型更合适。 此处,下游filter从上游filter请求数据。 MediaSample仍会从输出pin到输入pin向下游移动,但下游filter会启动数据流。 这种类型的连接使用 IAsyncReader 接口。

拉取模型的典型用途是在文件播放中。 例如,在 AVI 播放图中, 异步文件源 filter执行一般文件读取操作,并将数据作为字节流传递,而没有格式信息。 AVI 拆分器filter读取 AVI 标头并将流分析为视频和音频MediaSample。 与异步文件源filter相比,AVI 拆分器可以确定所需的数据,因此它使用 IAsyncReader 而不是 IMemInputPin。

若要从输出pin请求数据,输入pin调用以下方法之一:
IAsyncReader::Request
IAsyncReader::SyncRead
IAsyncReader::SyncReadAligned。
第一种方法是异步的,用于支持多个重叠读取。 其他是同步的。

理论上,任何filter都可以支持 IAsyncReader,但在实践中,它专为连接到分析程序filter的源filter而设计。 分析程序的作用非常类似于推送模型中的源filter。 暂停时,它会创建一个流式处理线程,该线程从 IAsyncReader 连接拉取数据并将其推送到下游。 输出pin使用 IMemInputPin,图形的其余部分使用标准推送模型。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,386评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,142评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,704评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,702评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,716评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,573评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,314评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,230评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,680评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,873评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,991评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,706评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,329评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,910评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,038评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,158评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,941评论 2 355

推荐阅读更多精彩内容