赛事直播解说+连麦,技术架构难点解读

我们此前曾分享了上线首日就为熊猫直播获取几十万流水的新玩法“直播间PK”。其实,直播间还能加入更多新玩法,能互动连麦的赛事直播。

现在很多比赛与活动都会出现在网络直播间中,比如最近刚刚开赛的KPL电竞赛事,抑或是今年即将开赛的世界杯。赛事直播的数量会逐渐变多。

目前,如果主播想在直播间直播世界杯、KPL等赛事,有两种方法:

  • 一种是单纯的转播赛事画面(包括电视台解说);
  • 另一种是通过OBS类软件,将赛事直播画面与主播画面合图后推流。

但是,这两种方式都存在缺点。第一种方式的缺点是无法播放主播自己的音视频流,与转播电视台节目无异。第二种虽然实现了转播画面与直播画面合图推流,但是无法让主播与观众直接进行连麦互动,等于舍弃了本已被用户普遍接受的直播连麦功能。

如果想同时实现赛事直播与主播连麦,也不无可能。在主播直播过程中,主播可以通过拉流的方式,将外部视频流加入到自己直播画面中。当然,通过这种方式,我们能引入的视频源不仅仅局限于电竞比赛、体育赛事,还可以是热门电视剧、活动直播,甚至是无人机的实时航拍画面。

这种方式不仅可以解决赛事直播缺少连麦互动,还可以让普通直播间可以从单纯的唱见、手游直播、户外直播,瞬间变成围绕共同兴趣或实时热点的互动直播间,主播与观众一边看“节目”,一边音视频连麦互动。

在这个场景中具体需要实现以下几个功能:

  • 引入外部视频流

  • 主播音视频直播

  • 两个视频流合图

  • 两个视频流时间同步

  • 其它业务功能(礼物、弹幕、评论等)

实现难点解析

难点一:外部视频源转码

外部视频源多种多样,视频格式、分辨率、帧率、码率千差万别。所以,为了适应不同的终端设备和网络,会在接到视频源后进行转码。

普通视频网站在做赛事转播的时候,一般会提取到的格式是 mp4,但也会出现其它格式。而分辨率则可能是 360p、720p 或 1080p。所以获取到赛事视频流时,需要先对该流转码,生成一路流,再通过 CDN 推到观众端。为了兼容不同的终端和网络,在转码时可生成多个分辨率的资源,服务端配套相应的策略来分发。

而“外部视频源”不但是为了适配终端和网络,还为了便于与主播画面合图。直播平台的主播视频流是已经定义好的,外部视频源的帧率、码率、分辨率不统一的情况时,无法合图,进一步导致无法推流至观众端。

因此,需要有转码,这部分工作如果没有做好,会导致只能支持有限的外部视频源格式,比如固定的 AVx 或 H.264。 无法降低或修改分辨率、码率、帧率。外部音视频流与主播音视频流的结合也较为复杂,两路流合成一路流时,合图的逻辑、音效处理逻辑都需要考虑。

难点二:主播流与外部流时间同步

在使用场景中,主播在获取到外部音视频流后,会同步解说。两路流是分别传输至服务端合图,并不是在主播端合图。因此,合图时要做好主播与外部流的时间同步,让主播的解说与外部流的画面能够对应。

如果以 Agora SD-RTN™ 作为服务端,我们可以通过下图来解释时间同步的过程。音视频流传输主要有三个环节:

  1. 蓝色部分:第三方视频流处理(蓝色);

  2. 黄色部分:主播音视频流传输至 Agora SD-RTN™(黄色);

  3. 红色部分:合图后的流经过 CDN 发送至观众端;

需要做同步的是蓝色和黄色部分。这两个环节要延时、并且有时间戳标记。

难点三:信令可靠性

从架构图可以看出,请求外部视频流、外部视频流转码、合图三个环节都需要信令的参与。信令的可靠性,直接影响相应环节的成功率。

提升信令可靠性要通过覆盖骨干网络的大网和让用户就近接入的边缘节点,二者缺一不可。

如何通过 Agora SDK 实现?

现在,开发者通过声网Agora SDK 2.1版新增的“外部输入直播视频源”功能,可以直接跨过上述三大难点,实现逻辑如下:

1.第三方视频流处理:

  • 主播端通过信令,请求转码服务器从拉取外部音视频源;

  • 外部视频流进入转码服务器,转码后传入 Agora SD-RTN™;

2.主播音视频流传输至 Agora SD-RTN™;

3.主播音视频流与外部音视频流在 Agora SD-RTN™ 内合图;

信令控制合图后的流再次转码,成为 rtmp 流,经过 CDN 发送至观众端 。

支持赛事直播场景的同时,“外部输入视频源”还可支持多种场景,比如:

  • 在直播中拉入一路或多路 RTMP 或 HLS 流,可以是比赛、演出,同时多人看视频,并互动;

  • 除了网络视频源,还能将无人机或其它网络摄像头捕获的画面引入主播画面。

基于此功能,还可以实现更多玩法,大家可以自由发挥想象。若想了解详细接口与实现流程,欢迎访问声网 Agora 开发者中心

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,294评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,493评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,790评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,595评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,718评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,906评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,053评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,797评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,250评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,570评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,711评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,388评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,018评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,796评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,023评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,461评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,595评论 2 350

推荐阅读更多精彩内容