一、下载,编译
从官网下载sphinxbase、pocketsphinx
https://cmusphinx.github.io/wiki/download/
将sphinxbase源码包解压缩,直接双击sphinxbase.sln打开解决方案。只需要编译sphinxbase一个项目就可以了
将pocketsphinx源码包解压缩,直接双击pocketsphinx.sln打开项目。要注意让sphinxbase、pocketsphinx的项目目录在一起,这样pocketsphinx可以引用到sphinxbase的头文件和库文件。编译pocketsphinx_continuous项目。
注意,要将sphinxbase生成的sphinxbase.dll拷贝一份到pocketsphinx的bin\Debug\Win32下面。因为这个目录下有一个已经编译好的sphinxbase.dll,但是是用VS2012编译的,需要依赖MSVCR110D.DLL。
二、生成自己的关键字字库
新建关键字文件keyword.txt,输入若干关键词,每行一个关键词。注意这个关键字文件要求utf-8编码,无BOM头,\n换行,因此最好在Linux下面编辑。用UE等高级编辑器也可以。
使用在线lm工具
http://www.speech.cs.cmu.edu/tools/lmtool-new.html
将keyword.txt上传上去,会生成一堆.dic .lm .vocab等文件。直接下载.tgz的整合文件,解压缩,里面有用的只有.dic和.lm文件。由于lmtool不识别中文,因此.dic文件是空的。需要自己手动添加注音
到官网下载普通话的完整hmm模型 zh_broadcastnews_16k_ptm256_8000.tar.bz2 和完整的字典 zh_broadcastnews_utf8.dic
https://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/Mandarin/
参照完整的字典 zh_broadcastnews_utf8.dic,对lmtool生成的.dic文件进行注音,例如
哈密瓜 h a m i g ua
有些名词zh_broadcastnews_utf8.dic里面没有,需要自己一个个字拼起来,例如山竹没有,但是有山和竹的拼音
北山 b ei sh an
成竹 ch eng zh u
则
山竹 sh an zh u
拼音还是比较好办的
三、运行测试
到命令行下,进入pocketsphinx\bin\Debug\Win32目录。把上面生成的.lm文件和自己编辑的.dic文件拷贝过来,把zh_broadcastnews_ptm256_8000整个解压缩后的目录拷贝过来。运行命令
pocketsphinx_continuous -inmic yes -hmm zh_broadcastnews_ptm256_8000 -lm 1687.lm -dict 1687.dic
由于dict文件是utf-8编码的,因此pocketsphinx_continuous显示中文会乱码。解决办法参考
https://blog.csdn.net/itas109/article/details/78999477
recognize_from_microphone()函数中修改为
hyp = ps_get_hyp(ps, NULL );
if (hyp != NULL) {
std::string str = UTF8_To_string(hyp);
printf("%s\n", str.c_str());
fflush(stdout);
}
四、问题
在测试中发现,使用zh_broadcastnews_ptm256_8000的模型识别速度很慢,说完话半天才开始识别。网上其他文章提到使用的模型是tdt_sc_8k。这个tdt_sc_8k是附带在pocketsphinx-0.8版本之中的,最新版的5prealpha中已经删掉了,只剩下一个英文的模型。换成tdt_sc_8k模型以后,识别速度快很多了,但是误识别问题还是比较严重的,就是会把一些不相干的语音识别成字典中的词语。
参考
https://blog.csdn.net/itas109/article/details/78999477
https://www.cnblogs.com/yin52133/archive/2012/07/12/2588201.html