1、应用场景
ai对话的应用场景广泛,疫情流调、居家回访、公司内部通知、12345智能化、客服场景(各领域)等等;
主要分为文字对话、语音对话(又分为呼入呼出两种)、坐席辅助、陪练、实时质检、离线质检、双录质检(银保监会要求)这几大类;
2、涉及ai能力
asr语音识别、nlu语义理解、nlp自然语言处理、tts语音合成、vpr声纹识别等等
3、调用流程
主要流程:VPR--ASR--NLU(NLP)--TTS
根据业务不同,会略有偏差,比如文字客服是不需要asr和tts的,手机银行可能会用到vpr,其他应用不会用到;质检也不需要tts;
4、效果指标
问答准确率:综合了asr识别结果和nlu的结果;只关注用户输入和最终结果的匹配率。
ASR:cer字准确率,wer词准确率;还有一种业务上也会用到的句准确率;这种指标主要是为了在业务统计时和nlu的统计分母保持一致,可以看到整体优化重点;
nlu:准确率和召回率,准确率指的是准确回答的数量占比,包含准确回答正确和准确不回答(即知识库里没有的不回答);召回率指的是成功召回的数量占比,包含能回答的可召回和不能回答不召回;在实际业务中,知识库需要完善是客户可理解可接受的,但误召回(即给出错误回答)和应该回答的实际无法回答这两类问题是绝不能容忍的,因此在确定阈值是要综合准确和召回,即需要高准确和高召回(虽然理论上是不可能的哈哈哈哈);理性情况下,f1值是相对合理的结果(精度+召回/2*精度*召回);
nlp的结果大部分时候也是准确率和召回率;
tts的效果评价比较复杂,后面单说;在实际项目中,上线前会通过各种手段对合成效果优化,因此这部分对对话项目的影响也比较小。
未完待续。