昨天刚刚结束了谷歌师资培训。在准备的近三天中也学到很多东西。电子档的材料都上传到了git上，但是还有手写的技术实现不想拍照上传。所以还是写篇文章记录一下，也算是巩固了。就按照我讲的顺序来写。
先总体，再细节（我喜欢这种逻辑，更容易理解把握）。
1.总体部分[IatController.java]:
前端获取到录音文件并转为base64编码交给后端进行处理。IatController层把base64编码转换为text文本。再对得到的文本进行分词处理[findWithWordDivision()]，获取到关键词并将关键词保存到sentenceList中，再将sentenceList放入data数据中进行数据库查询。
@PostMapping(value = "/searchBySdkBase", produces = "application/json;charset=UTF-8")
public Map<String,Object> searchBySdkBase(String base64){
Map <String,Object> map=new HashMap<String, Object>();
base64=base64.replace(" ","+");//用空格代替+
try {
String text = this.iatService.useIatSdkBase(base64);
List<Sentence> sentenceList=new ArrayList<Sentence>();
if(text.equals("") || text == null){
map.put("info","error");
return map;
}
sentenceList=this.sentenceService.findWithWordDivision(text);
if(sentenceList == null || sentenceList.size() == 0){
map.put("info","no sentence");
return map;
}
map.put("info","success");
map.put("data",sentenceList);
return map;
}
catch (Exception e){
e.printStackTrace();
return null;
}
}
2.细节实现：
（1）在UploadUtils.java文件中：
后端将得到的base64编码通过方法uploadFileBase()变成字节数组byte [] buffer,并写入随机生成的文件中（也就是recordPath：.wav/.mp3格式文件）。然后创建.pcm格式文件路径（只是创建路径。先建个房子，再把居民塞进去）。最后返回recordPath+pcmPath（接下来会用，需要注意）。
public static String uploadFileBase(String base64,String upload,String recordPath,String pcmPath){
String newFileName=UUID.randomUUID()+".wav";//避免重名：随机生成ID
byte [] buffer=Base64.decodeBase64(base64);
File file=new File(upload,newFileName);
FileOutputStream fileOutputStream=null;
try {
if (!file.exists()) {
file.createNewFile();
}
}
catch (IOException e){
e.printStackTrace();
return null;
}
try {
System.out.println("file:"+file.getAbsolutePath());
fileOutputStream = new FileOutputStream(file);
fileOutputStream.write(buffer);
//fileOutputStream.flush();
}
catch (FileNotFoundException e){
e.printStackTrace();
}
catch (IOException e2){
e2.printStackTrace();
}
finally {
try {
fileOutputStream.flush();
fileOutputStream.close();
}
catch (IOException e){
e.printStackTrace();
}
}
recordPath="/root/uploadRecord/"+newFileName;
if(recordPath.indexOf(".wav") > 0) {
pcmPath = recordPath.substring(0, recordPath.indexOf("wav")) + "pcm";
}
else if(recordPath.indexOf(".mp3") > 0){
pcmPath = recordPath.substring(0, recordPath.indexOf("mp3")) + "pcm";
}
System.out.println("rec"+recordPath);
System.out.println("pcm"+pcmPath);
transferWavToPcm(recordPath,pcmPath,upload);
return recordPath+" "+pcmPath;
}
通过transferWavToPcm()方法，将recordPath路径下的内容转为.pcm格式的内容，并放入刚刚创建好的pcmPath里（啥样人住啥样房子）。也就是说，我们成功获得了.pcm格式的文件，符合了讯飞SDK的要求，可以使用讯飞SDK了。
public static void transferWavToPcm(String recordPath,String pcmPath,String upload){
String ffmpegPath="/usr/local/ffmpeg/bin/";
String command=new File(ffmpegPath).getAbsolutePath()+"/ffmpeg -y -i "+recordPath+" -acodec pcm_s16le -f s16le -ac 1 -ar 16000 "+pcmPath;
Runtime run=Runtime.getRuntime();
try {
Process p = run.exec(command);
//
p.getOutputStream().close();
p.getInputStream().close();
p.getErrorStream().close();
p.waitFor();
}
catch (Exception e){
e.printStackTrace();
}
finally{
run.freeMemory();
}
}
（2）IatUtils.java文件：
使用讯飞SDK将.pcm格式文件里的内容转为在上面第一大点里的text。
uploadFileBase()方法中：首先将UploadUtils.java文件中返回recordPath+pcmPath通过split()方法拆分了，拆出我们要的pcmPath。接着，讯飞SDK开始工作（开始监听），利用管道FileChannel获得路径为pcmPath的文件里的内容，并将获得到的内容放入到byteBuffer中，再将byteBuffer里的内容倒入字节数组byte[] buffer中（其实这个地方应该只写buffer的，但是我就是喜欢这样写，不规范但对我来说很清晰）（可以想象本来要把水倒入到蓝瓶子中，但是我先把水倒入到红瓶子中，再把红瓶子里的水倒入到蓝瓶子中。但是我还不懂为什么要这样，这也是我在上一篇文章中写的觉得Java麻烦的地方）。
public String RecoginzePcmFileBase(String base) throws IOException, InterruptedException {
curResult=new StringBuilder();//当前结果
String upload="/root/uploadRecord/";
String recordPath="";
String pcmPath="";
String np="";
if(recognizer == null){
recognizer=SpeechRecognizer.createRecognizer();
recognizer.setParameter(SpeechConstant.AUDIO_SOURCE,"-1");
recognizer.setParameter(SpeechConstant.RESULT_TYPE,"json");
}
/**
* wav,mp3 transfer to pcm
*/
np = UploadUtils.uploadFileBase(base,upload,recordPath,pcmPath);//upload：文件在服务器中的位置 np=recorfPath+pcmPath
if(np != null) {
//拆分recordPath+pcmPath
recordPath = np.split(" ")[0];
pcmPath = np.split(" ")[1];
}
recognizer.startListening(recListener);//开始监听
FileChannel fc = null;
if(! pcmPath.equals("")) {
fc = new RandomAccessFile(pcmPath, "r").getChannel();
}
MappedByteBuffer byteBuffer = fc.map(FileChannel.MapMode.READ_ONLY, 0, fc.size()).load();
System.out.println(byteBuffer.isLoaded());
byte[] buffer = new byte[(int) fc.size()];
if (byteBuffer.remaining() > 0) {
byteBuffer.get(buffer, 0, byteBuffer.remaining());
}
if(buffer == null || buffer.length == 0){
logger.error("no audio available");
recognizer.cancel();
}
else{
int len=buffer.length;
recognizer.writeAudio(buffer,0,len);
recognizer.stopListening();
synchronized (lock){
lock.wait();//主线程等待
}
//curResult.toString();
File wav=new File(recordPath);
File file2=new File(pcmPath);
if(wav.exists()){
wav.delete();
}
if(file2.exists()){
file2.delete();
}
return getString(curResult.toString());
}
return null;
}
结束监听。监听结果部分的recognizerResult是一个封装了JSON字符串的Java类。然后调用getResultString()方法获得JSON字符串：jsonStr。
//监听器工作
private RecognizerListener recListener=new RecognizerListener() {
@Override
public void onVolumeChanged(int i) {
logger.info("onVolumeChange enter");
}
@Override
public void onBeginOfSpeech() {
logger.info("onEndOfSpeech enter");
}
@Override
public void onEndOfSpeech() {
logger.info("onEndOfSpeech enter");
}
@Override
public void onResult(RecognizerResult recognizerResult, boolean b) {
logger.info("onResult enter");
String jsonStr=recognizerResult.getResultString();
curResult.append(jsonStr);
if(b){
synchronized (lock){
lock.notify();
}
}
}
//打印出报错信息
@Override
public void onError(SpeechError speechError) {
logger.info("onError enter");
if(null != speechError){
logger.error("onError code:"+speechError.getErrorCode()+","+ speechError.getErrorDescription(true));
}
}
@Override
public void onEvent(int i, int i1, int i2, String s) {
logger.info("onEvent enter");
}
};
那么我们最后的任务就是把这个jsonStr转为目标：text（也就是str）。
而把jsonStr转为str的第一步，居然是先把jsonStr再变回JSON（上一篇就吐槽了这个地方）。变回一个JSON对象。
因为jsonStr相当于把JSON数据打上了引号，而我们为了获取JSON中的数据，必须先把引号去掉，再拿里面的数据（key：value）。
将key为“ws”的“value”放在一个数组wsArr中，但key为“ws”的value也是一个key：value数组，所以只能再剥一层，直到剥出我们需要的value值，也就是wStr，也就是我们需要的text。//此处应该查阅讯飞官方文档https://www.xfyun.cn/doc/asr/voicedictation/Java-SDK.html
//{"sn":1,"ls":true,"bg":0,"ed":0,"ws":[{"bg":0,"cw":[{"w":"今天","sc":0}]},
//jsonStr转换为str
public String getString(String jsonStr){
StringBuffer stringBuffer=new StringBuffer("");
JSONObject jsonObject=JSON.parseObject(jsonStr);//转成JSON对象
JSONArray wsArr=jsonObject.getJSONArray("ws");//ws：word sentence
for(int i=0;i<wsArr.size();i++) {
JSONObject wsArrObj=wsArr.getJSONObject(i);
JSONArray CWArr=wsArrObj.getJSONArray("cw");//cw：Chinese word
for (int j = 0; j < CWArr.size(); j++) {
JSONObject CWArrObj = CWArr.getJSONObject(j);
String wStr = CWArrObj.getString("w");//w：word
stringBuffer.append(wStr);
str.add(wStr);
}
}
return stringBuffer.toString();
}
public List<String> getStr() {
return str;
}
}
注：2.（2）部分的三个片段代码加在一起才是完整的。
