用树莓派打造自己的对话式智能家居控制中心——Hi,Messy(二)

日常前言

项目教程目录:https://blog.csdn.net/qq_41082014/article/details/86605663

第一篇的唤醒相信度娘搜一下关键词snowboy都能出现与之相似的内容,但是能度娘到的关于snowboy的信息也仅限与此,相信很多人和我当初一样,虽然能唤醒了,但是做不了更多的事情,比如唤醒之后想录个音,或者用pygame、mplayer这样的工具放首歌,snowboy都会直接终止进程,报错无设备,必须要重启才能解决。
                      

在这里插入图片描述

  So,作为Hi,Messy的第二篇文章,便来出手解决这个问题

先找官方

官方文档

官方文档地址,一圈搜罗后,官方文档只介绍了如何进行单次唤醒和怎么使用它们的webapi,没什么用。

官方demo

那官方文档里找不到,记得官方的资源里面好像有几个demo,去看看呢。诶,果真就在demo里面发现了官方写的录音的代码,下图是官方介绍

在这里插入图片描述

  核心代码如下,官方是使用的speech_recognition这么一个库,然后用内置的谷歌的语音识别api进行识别。亲自上手后发现,这个库录音的数据类型是库自己定义的<class 'speech_recognition.AudioData'>目前找不到方法存储为文件,而且谷歌嘛,我也出不去,只好放弃官方的方案。
在这里插入图片描述
在这里插入图片描述

  detector.start的参数audio_recorder_callback的官方定义是当触发唤醒词后,保存后续的短语,偶然间发现,他是能保存录音文件,再看看官方demo,发现官方的demo是在使用speech_recognition后又把这个文件给删除了,醉了。本来以为到这里就可以结束了,但后面又发现,只能指定一个时间进行录音,功能太局限,所以,直接放弃官方,自寻出路!
                      
在这里插入图片描述

定制开始

好了,前面写了那么多,我只是想把过程给记录下来,让童鞋们少走弯路。接下来,正片开始。
  
  先把我们需要的文件从官方里拷出来,一共5个文件,一个文件夹。拷完之后,git下来的snowboy这个文件夹就可以删除了。

cp yuyin/snowboy/examples/Python3/snowboydetect.py yuyin/alexa/
cp yuyin/snowboy/resources/alexa/alexa-avs-sample-app/alexa.umdl yuyin/alexa/
cp yuyin/snowboy/examples/Python3/demo.py yuyin/alexa/alexa.py

cp -r yuyin/snowboy/resources yuyin/alexa/func_alexa
cp yuyin/snowboy/swig/Python3/_snowboydetect.so yuyin/alexa/func_alexa
cp yuyin/snowboy/swig/Python3/snowboydecoder.py yuyin/alexa/func_alexa

先把目录结构建起来,最终效果如下图(如有不知道的目录,手动建一下,后续需要使用)

  • 根目录


    在这里插入图片描述
  • music_messy


    在这里插入图片描述

定制灵魂功能

铺垫了这么多,终于来到了最关键的步骤,唤醒后,录制一段音频。前面说过了,只录音的功能太过局限,所以接下来,我们要做的是可不止录音这么简单

  • 代码结构阐述
    • 进入第一个循环,根据当前环境的音量是否高于阈值(判断是否有声音输入)
    • 若有,进入第二个循环,判断当前环境的音量是否低于阈值(判断录入是否结束),若低于,则两个循环都结束
    • 若第一个循环进行5s后,依然无声音输入,则循环结束(判断超时)

开锤代码

核心功能:判断声音大小

# func_messy/volume.py

import pyaudio
import numpy as np

# 定义录制声音的参数
CHUNK = 180
FORMAT = pyaudio.paInt16
CHANNELS = 1
RATE = 16000
RECORD_SECONDS = 5

def volume():
    p = pyaudio.PyAudio()
    stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                frames_per_buffer=CHUNK)
    while 1:
        for i in range(0, 100):
            data = stream.read(CHUNK)
        audio_data = np.fromstring(data, dtype=np.short)
        temp = np.max(audio_data)
        print(temp)

volume_detection()

这个可以直接在本地pc跑下试试,一般来说 0-500 就是正常的环境声音数值,500-1w 就是有人说话的数值了,1w以上基本就是和麦克风嘴对嘴讲话了

在这里插入图片描述
(录音文件的完整代码查看GIT [ 完整功能:代码结构阐述最终保存录音文件]
在这里插入图片描述

调用录音功能,重头戏来了!!!

我们复制过来的demo中有这样一段代码,我们在这里调用方法进行替换


在这里插入图片描述
# alexa.py
import volume
detector = snowboydecoder.HotwordDetector(model, sensitivity=0.5)

def main():
    detector.terminate()
    volume.volume()
    
detector.start(detected_callback=main,
               interrupt_check=interrupt_callback,
               sleep_time=0.03)
detector.terminate()

注意到第五行的detector.terminate()了吗,这是snowboy官方定义的结束唤醒程序的函数(snowboydecoder.py的最后),该条代码很重要,因为snowboy已经在内部使用pyaudio库,如果这时在手动调用pyaudio,会造成三种情况:

  • 一:录下来的文件没有声音
  • 二:系统直接提示未知的媒体设备(Device unavailable)
  • 三:snowboy程序被挤掉,系统提示无媒体设备(No available audio device)

当detector.start的循环被终止的时候,可以看到,接下去的一句就是使用这个函数来终止整个程序。但是,这么重要的一个函数,度娘完全没有搜到过,就连官方自己都没说,还是最后查阅源码文件才知道的.....

再次唤醒

python3 alexa.py alexa.umdl
如果直接用的我的GIT上的项目代码的话,应该是可以看到在music_messy/said/看到i_said.wav这个文件,打开即可听到自己的声音咯

最后

在码代码的过程中还是会经常出现Device unavailable的错误,只好把需要用到媒体设备的代码全部放到不报错的地方。后来知道是pulseaudio没有启动的问题,但我一直启动不了这个东西


在这里插入图片描述

如果有大佬知道,可以评论一下或者加q群q我(576072252),谢谢

本文作者: Messy
原文链接:https://www.messys.top/detail/24
版权声明: 本博客所有文章除特别声明外, 均采用 CC BY-NC-SA 4.0 许可协议. 转载请注明出处!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,820评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,648评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 168,324评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,714评论 1 297
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,724评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,328评论 1 310
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,897评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,804评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,345评论 1 318
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,431评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,561评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,238评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,928评论 3 334
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,417评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,528评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,983评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,573评论 2 359

推荐阅读更多精彩内容