getUserMedia 与 audioContext 实现八分音符酱的音频录入和数据输出

最近几天需要实现一个需求,就是在实现两用户视频通信的基础上,进一步显示其即时的麦克风音量,以及用户可以本地测试自己的麦克风音量。需求和开黑的时候调试自己的麦克风音量类似,只不过实现的环境是浏览器环境以及语言用的是JavaScript。

这个需求让我想起了前段时间比较火的一款安卓游戏:百分音符酱,游戏核心玩法就是通过玩家的声音大小控制小人的跳高距离用于翻越障碍躲避敌人,所以通过以下的实现方式,是能够实现该游戏比较核心的一个部分:声音录入和数据输出

实现效果

麦克风音量处获取当前麦克风的输入数据,根据一定的规则转化成progressBar显示。

API使用情况

  • MediaDevices.getUserMedia()
  • AudioContext
  • requestAnimationFrame()

参考MDN

MediaDevices.getUserMedia()

MediaDevices.getUserMedia()方法提示用户允许使用一个视频和/或一个音频输入设备,例如相机或屏幕共享和/或麦克风。如果用户给予许可,就返回一个Promise 对象,MediaStream对象作为此Promise对象的Resolved[成功]状态的回调函数参数

用该接口为了获取一个音频流(mediaStream)的输入

AudioContext

AudioContext接口表示由音频模块连接而成的音频处理图,每个模块对应一个AudioNode

用于对音频流进行分析,拿到相关频域数据

requestAnimationFrame()

window.requestAnimationFrame() 方法告诉浏览器您希望执行动画,并请求浏览器调用指定的函数在下一次重绘之前更新动画。该方法将在重绘之前调用的回调作为参数。
如果您想在下一个重绘时为另一个Frame设置动画,您的回调例程必须调用
requestAnimationFrame()

设置对音频流的平均采样时间,通过递归调用该接口实现每秒采样60次,即60帧

基本设计:

代码实现

首先的就是音频流的获取

    let constraints = { 
        audio: true, 
        video: false 
    };
    navigator.mediaDevices.getUserMedia(constraints)
    .then((stream)=>{
        ...
    })

这段代码在then的回调里面能够拿到用户输入的mediaStream,之后我会在stream后接入分析器,这里设置 videofalse的原因是因为我们不需要获得视频流,需要注意的一点是10.*版本(及以下)的Safari并不支持getUserMedia(),具体的各浏览器支持情况如下:

将音频流引入AudioContext并接入分析器

....then((stream)=>{
         let audioCtx = new AudioContext() 
         let source = audioCtx.createMediaStreamSource(stream) // 引入音频流
         let analyser = audioCtx.createAnalyser() // 创建分析器
         source.connect(analyser) // 将stream连接到分析器上
         analyser.fftSize = 1024 // 可以理解为设置频率的单位取样宽度
         
         
         let array = new Uint8Array(analyser.frequencyBinCount); // 保证长度满足
         analyser.getByteFrequencyData(array) // 将当前频域数据拷贝进数组 
          ...
    })

AudioContext的设计风格类似于Pipe-And-Filter,即管道过滤模型,通过对流进行过滤分析实现更多的功能,并且将各功能通过connect连接起来。这里如果再次analyser.connect(audioCtx.destination)就可以把音频流引入扬声器实现即时播放功能。analyser.fftSize可以理解为设置频率平均采样的单位长度。如文档:

根据以上的解释,当我设置.fftSize = 32的时候 取得的数组长度为16

设置为1024的时候,数组长度为512

到目前为止,我们已经进行的一次频率的采样了,下一步就是如何根据时间进行平均采样,那么,就必须要用到requestAnimationFrame()

...
     let onePick = () => {
         var array = new Uint8Array(analyser.frequencyBinCount);
         analyser.getByteFrequencyData(array); // 将当前的频率数据传入array
         console.log(array);
         requestAnimationFrame(onePick)
        } // 采样函数
        
        
       requestAnimationFrame(onePick) // 开始执行采样

该onePick函数会每秒执行60次,也就会取60次的样本,然后,我们会拿到一个数组,里面包含了频域的数据,这数据拿来怎么用,就看业务是什么了

最后看下实现的效果吧(从网上扒了一个canvas绘图的代码)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容