前言
最近人工智能大流行，与人工智能进行语音对话的需求也陆续出现。大致的流程是：录音，提取其中的语音部分，识别语音含义，AI模型处理，朗读语音结果。
录音、播放的代码很常见，AI大模型和文字转语音用的都是第三方的，只有在录音中找出有用部分这一功能值得一说。
2013~2014年期间在做语音识别时用到过三方的VAD，总结如下：
- 接口有很多复杂的设置，对我来说用不上。
- 处理结果是将语音数据分片并提供分片信息，使用时还需要二次处理。
- 人声从无到有和从有到无是渐变的，但这个渐变过程处于分片处时容易被丢弃，导致识别的准确率降低。
- 有短停顿和长停顿的区别，但是长停顿后检测结束，继续检测会状态异常，重新检测则可能丢失部分有效数据。
因此自我实现了一个，需求如下：
- 场景明确。用于录音后的语音部分提取，便于后续识别，无需过多接口。
- 保证语音信息完整。语音从无到有和从有到无是有一个过程的，而这部分的数据通常难以和背景噪音区分开，因此当检测到语音部分时，前后应该多保留一部分数据。
- 用短停顿拆分语音数据，用长停顿判断一句话的结束。可以一直持续检测。
如今借着人工智能的流行将代码开放以作纪念。
从2014年开发到2024年重新整理并公开。十年的跨度，虽然有些过时，但价值还在，用起来还是不错的。
设计
设计用法
- 语音数据可边录音边输入，也可读取已有录音输入快速输入。
- 输出随着输入同步进行，用户可直接在录音线程处理。
- 如果AI接口使用的是文本，语音转文字也并非流式。短停顿代表用户语气停顿，可以预先进行语音转文本的处理，并且还是分段的，节省时间。长停顿代表用户暂时说完了，待所有预先转文本完成后将文本拼接为整体，进行AI请求。
- 如果AI接口支持语音数据或语音转文字本身支持流式，则只需要1个停止判断，可将短停顿设置为2秒，直接以此判断说话停止。长停顿无视即可。
设计接口
- 采样率：根据网络流畅度，采样率通常是8000或16000，因此需要支持设置。
- 采样点精度：基本都是16bits，就不设置了。
- 停顿判断：有的AI需要先进行语音转文本，之后再把文本交给AI处理，因此需要设置2个停顿判断。一个短停顿，表示断句，可以将长语音切割成多个短语音分别进行语音转文本。一个长停顿，用来判断用户暂时说完了，该提交给AI处理。
- 提供音频数据：提供一个可以随时追加音频数据的接口。
- 取消：恢复所有状态。
- 回调：随着音频数据的输入，输出其中的语音部分，并告知语音开始、停顿的判断。回调的过程中要支持修改配置、追加音频数据、取消等操作。
设计检测标准
本功能只是为后续的语音识别服务减少一些音频数据，有利于网络传输和减少识别消耗。因此检测的方法要简单，消耗要小，我这里进行了2种实验。
例如这段实验用的音频：
image.png
第一行是实验用的音频数据，
第二行是通过相邻2个采样点的差值（正数）来计算平均值。
第三行则是单纯的通过采样点的绝对值来计算平均值。
这里简化一下，前面的值*占比+下一个采样点的绝对值=后面的值，效果应该比平均值更合适。
经过大量不同环境、不同语音录制对比后发现，第三行的方式用来区分语音和环境噪音最合适。
第四行则是以此为标准实现VAD功能后，提取出来的有效数据段。
设计处理流程
还以上面的数据为例进行分析，假设短停顿设置为1秒，长停顿设置为2秒，如下图所示：
image.png
- 在t1之前，认为没有语音数据，不会有任何返回。
- 在t1时，认为有语音数据，回调“开始说话”，并将之前0.1秒的数据作为语音回调。
- 在t2时，连续0.1秒低于阈值，认为可能停止说话，t2前的数据实时回调，t2后的数据暂时缓存，不进行回调。
- 在t3时，认为还在说话，并没有断句，t2和t3之间的数据是有效的，此时要作为语音回调。
- 在t4、t5、t6时如同之前处理。
- 在t7时，已经连续1秒低于阈值，认为语音有停顿，回调“说话停顿”。如果超过2秒，则再回调一次“停止说话”。
- 在t8时，又认为有新的语音数据，回调“开始说话”，并将之前0.1秒的数据作为语音回调。
设计缓存处理方式
上述流程中，对于输入的数据除了实时处理，还需要额外缓存一小部分。
- 在未检测到语音时需要缓存最近的0.1秒数据。
- 当达到阈值认为开始说话，缓存的0.1秒数据作为语音返回，此后数据实时返回，不再缓存。
- 开始说话后当低于阈值超过0.1秒，语音数据暂停返回，需要开始缓存。
- 如果1秒内回到阈值之上，认为是持续说话，缓存的数据都要返回，此后数据实时返回，不再缓存。
- 如果超过1秒仍没有回到阈值之上，认为语音有停顿，缓存数据只保留最后0.1秒，其余丢弃。
- 超过2秒与超过1秒一样，无需额外处理。
实现
https://gitee.com/pkgogai/gydfoundation_public
/Code/GYDFoundation/Base/录音/GYDVad.*
