小程序开发进阶:如何实现直播连麦

我们上周做了一场免费在线直播课,声网Agora 研发工程师张乾泽分享了小程序直播组件的特点、实现小程序间连麦的方法,以及需要注意的产品化难题等干货。本文将为没能观看到直播,又正在做小程序开发的朋友们回顾一下演讲内容,以及直播观众们提出的那些问题。(文末有视频回顾地址,大家可配合观看)

演讲实录

微信小程序从1.7开始,为开发者提供了两个新接口,<live-pusher>和<live-player>,可以在小程序上实现单向的直播功能。通过与技术的结合,比如WebRTC,开发者们还可以进一步在小程序直播的基础上实现连麦功能,这也就是我们今天要主要分享的进阶经验。

目前小程序直播连麦的应用场景有很多,比如:

首先是视频通话。此前,该场景更多以原生应用的形态出现。现在,这两个新的接口,让小程序实现视频通话成为了可能,尤其是在那些需要强交互、低延时的应用场景,如在线教育、企业会议等。

另一个是在直播连麦中,具体应用场景也有很多,跨直播间 PK 就是最典型的一种。这个功能我们可以在熊猫直播中看到。在直播时,一个主播可以与另一个主播进行视频通话,并实时直播给两个主播的观众观看。

第三个是游戏互动,比如在线抓娃娃。用户此前可以通过原生应用、 PC 端浏览器或手机浏览器来玩抓娃娃,现在该场景已经扩展至小程序。

以上三种场景的共同点是,对延时、画质要求都很高。此前之前更多是在网页、PC 客户端、移动端 App 上实现这些场景,但在网页、手机浏览器中比较少。而微信小程序直播组件的出现,却改变了这个现状,为什么呢?接下来我们会讲到。

小程序直播连麦带来了什么改变?

首先,如果你做过H5端实时音视频,你应该了解,其中最大的问题之一就是采集。为了解决该问题,最常见且可靠的方案就是使用 WebRTC ,因为它提供了一套接口可以让开发者在浏览器中获取摄像头、麦克风的音视频流,在浏览器中实现音视频的采集,并转成我们可用的数据,通过服务端推送给观众。

不过 WebRTC 方案也并非万能,它在移动端也存在很多问题需要开发者自己解决,比如:

  • 兼容性问题。尽管现在新版本已经得到了很多 PC 浏览器支持。但是在微信浏览器中,仅能在 Android 端使用。

  • 用户体验问题。一方面,在网页端经常我们会收到“网页想获取摄像头、麦克风权限”的提示,以允许该页面进行音视频的采集。很多用户可能会选择“拒绝”,会直接导致产品不可用。另一方面,开发者需要保证网址是安全的,否则在一些移动应用内,比如在微信中无法获取摄像头权限。

但是,这些情况在小程序中情况则不一样。小程序提供了一套相对完善的接口。通过<live-pusher>和<live-player>两个原生组件,可以实现音视频的采集、推流、拉流、播放。同时,这两个组件还支持自带的美颜、美白、动态分辨率调整等功能。

image

那么问题来了,既然我们已经有了这两个组件,是不是在小程序中增加它们之后,就可以发布到线上直播连麦小程序,让别人使用了呢?

答案是否定的。

你还需要搭建一个 rtmp 服务器,然后生成一个 rtmp 服务地址,利用小程序组件推流和拉流,但是这样的产品上线仍有些距离。而且,小程序的两个组件仅仅提供了直播功能,并不支持实现连麦。如果还想要在小程序直播中进一步实现连麦,需要解决几方面问题:

  • 可用性。如果很多人访问你的服务器,并同时发出推流、拉流的请求,你的服务器很可能会挂掉,所以要提高可用性。

  • 信令控制。就像打电话一样,连麦双方需要知道对方的频道号、rtmp 地址才能互通,这就需要加入信令系统来控制。

  • 互通性。比如,小程序之间如何视频互通,小程序与原生 App 之间如何互通。

  • 音视频交互质量。比如,视频通话的低延时、画面与音质的清晰等。

开发者们可以通过自研来解决以上问题,比如:

  • 增加更多服务器节点,以提高可用性;
  • 在增加节点之后,通过优化路由调度策略,来保证直播连麦时可绕过网络拥塞;
  • 引入信令服务器来支持连麦通话服务;
  • 通过编解码算法优化来进一步保证连麦的传输质量与低延时。

总之,为了保证连麦质量,可以优化的地方有很多。当然,如果你想直接绕过这些问题,也可以直接使用声网小程序直播连麦 SDK。SDK 提供了一套简单易用的API接口,帮开发者在小程序中快速实现直播连麦功能,并支持小程序与原生App间的互通。

小程序的局限性

我们曾与很多开发者交流过,很多人曾提出,想在小程序直播中进行混流。例如,在小程序直播过程中,将客户端的音乐与直播画面进行混流。不过目前小程序目前还不支持客户端的混流,暂时还没有这样的接口。但如果是小程序与原生应用连麦,我们可以在原生应用中进行混流,然后推流至小程序。

Q&A 环节摘录

Q:小程序有客户端日志收集么?
A:小程序本身没有该功能。小程序本身提供一些回调方法,可以看到推流是否开启、分辨率、码率等信息。用户需要手动保存或上传服务器。我们在 SDK 中提供了该功能,只需要监听日志接口,就可以将日志发到回调中,用户再通过一些方法传到自己的服务器上。如果小程序在直播连麦中出现问题,可以通过日志来排查。

Q:小程序在有电话通话的同时可以向外推流么?
A:并不支持。小程序会通过 App.js 来管理小程序的生命周期。开发者可以通过onShow和onHide两个参数监听小程序的显示与隐藏。当有电话进来时,小程序会进入后台,那么直播画面就会停止,并切换为一张开发者预先设置好的图片。

Q:声网小程序SDK的支持多少人通话?
A:目前可支持最多6人同时连麦。

Q:连麦中,头像排序如何设置?是否可以设置主头像在直播收看端画面最大?
A:这涉及到画面的布局问题。大家可以通过 CSS 来控制哪个流要放大或缩小。我们在 Sample Code 中提供了一个叫 layout.js 的文件,就是用来针对不同人数做不同布局的文件,大家可以参考一下。

Q:你们是否支持1080p?
A:小程序在推流时可以通过设置最大或最小码率动态调整分辨率,所以目前没有有效的手段让小程序推1080p的流。但是声网的 SDK 在原生应用上支持1080p,在小程序与原生应用连麦时,可以通过原生应用推送1080p的视频流给小程序。

点击这里观看回顾视频

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容