初探智能客服机器人的三大核心AI算法模型及评估指标 | 算法经验（14）

1.智能客服机器人三大核心算法模型

智能客服机器人用于解决重复性客服问题，降低客服人员工作量和劳动强度，并且能够通过与客户的交互式多轮对话自动积累客服知识。

智能客服机器人主要涉及三个部分的关键技术：

（1）语音识别技术，类似于人类耳朵的功能，将声音转化为文本，并且普通话、非标普通话、部分方言均需准确识别；

（2）语义理解技术（自然语言处理），类似于人类大脑，对文本、语音等进行自然语义理解拥有记忆、识别、理解、推理等能力，支持多轮对话、拟人回答等；

（3）语音合成技术，类似于人类嘴巴，将文本转化为语音，支持自然、韵律、流畅的语音合成，以及个性化语音合成。

2.语音识别技术

语音识别分训练和解码两阶段。训练，即通过大量标注的语音数据训练声学模型，包括GMM-HMM、DNN-HMM和RNN+CTC等；解码，即通过声学模型和语言模型将训练集外的语音数据识别成文字。目前常用的开源工具有HTK Speech Recognition Toolkit，Kaldi ASR以及基于Tensorflow(speech-to-text-wavenet)实现端到端系统。

3.语义理解技术

在智能客服机器人构建中最为重要的就是建立知识库，实现客户语义的理解并且能够调用知识库的知识解决客户关心的问题，而知识库是支持对话模型的运行的核心部分，如图所示。

4.语音合成技术

语音识别和语音合成技术是实现人机语音通信，建立一个有听和讲能力的口语系统所必需的两项关键技术。使电脑具有类似于人一样的说话和听懂人说话的能力。语言合成或者让计算机说话包含着二个方面的可能性:一是机器能再生一个预先存入的语音信号，类似于普通的录音机一样，不同之处只是采用了数字存储技术。

然而如果预先存入足够的语音单元，在合成时采用恰当的技术手段挑选出所需的语音单元拼接起来，也有可能生成高自然度的语句，这就是波形拼接的语音合成方法。

另一种可能是采用数字信号处理的方法，将人类发声过程看作是一个模拟声门状态的源，去激励一个表征声道谐振特性的时变数字滤波器，这个源可能是周期脉冲序列，它代表浊音情况下的声带振动，或者是随机噪声序列，代表不出声的清音、调整滤波器的参数等效于改变口腔及声道形状，达到控制发不同音的目的，而调整激励源脉冲序列的周期或强度，将改变合成语音的音调、重音等。

5.智能服务机器人的评价指标

（1）问题识别率：行业中普遍应用的衡量指标

问题识别率是业内主流客服机器人服务提供商或企业的工作逻辑，它指的是机器人能识别出客户的问题数与所有问题数的比例。简单理解，智能机器人的后台逻辑是通过算法把客户的问题、知识标准问法和知识标准答案三者对应匹配关联，从而实现机器人的自动应答，在这个过程中，从客户的千奇百怪的问题或者问法，机器人可以分析语义并寻找到知识标准答案，就算是问题识别对了，也就是给问题识别率加了一分。

（2）拨测准确率：更笨但更真实的问题识别率

拨测准确率采用的是一种实验的方法，即用一定的公司内部业务管理人员的人力，采取模拟客户问题的方法和机器人实际开展对话，记录结果的正确与否，人工判断机器人回答准确的数量占到总问题数的比例。

这个指标的好处在于，是人脑判断的对错，也是模拟客户的角度去看待对错，所以在样本量越大的情况下，我们认为这个指标越真实。以我们的实践来看，拨测准确率的数据比问题识别率要低3-4个点，即在90%左右的水平。而这个指标也有它的缺陷，首先要耗费大量的人力去做这个事情，其次因为是业务人员去拨测的，因为非常熟悉业务的情况，所以不能完全真实的模拟客户看到答案的感知，是否准确，是否看的懂，都存在一定的偏差。

（3）答案满意度：迅速提升回答效果的基础

客户是智能机器人的最终使用者，所以只有真实的客户是否认同机器人的回答才是更真实的数据情况，普遍意义上可以有两种典型的调研方式：

1、在机器人每回答一个问题的结束都设置一个评价小尾巴，客户对逐条问题都可以选择评价，并评价是否满意这条回答。这样做的好处是，通过大量的数据积累，可快速定位评分相对低的答案，然后回炉进行优化，以此往复，不断提升；比如支付宝就是采用这种方式；

2、在整体机器人服务完成后弹出窗口进行调研，调研客户对整通机器人服务的完整感知，是否满意；这样的好处是没有那么频繁的骚扰客户，且评价具有整体性，但是对于具体的提升帮助不够明显。

客户对机器人评分结果，都是对机器人的理解能力、答案调用速度、答案客户化程度等能力的真实评价，这个指标是监控机器人能力又一重点指标，这个指标在应用上一定要注意UIUE的设计，尽量少的骚扰到客户，所以建议不是常态化的用，最好在服务启动的初期和关键点去应用。行业内一般认为在75%的水平就是合理情况，其实应该有更高的要求。

（4）服务满足率：用脚投票的真实记录

在线客服的行业的排列模式普遍是“智能机器人 在线人工服务”，机器人在前端解决大部分简单、重复的问题，在机器人回答后则开放引导人工的入口，当客户不满意机器人的答案或者有更高的要求的时候，客户可以有两种选择:

第一，通过人工入口，点击进入人工服务；

第二，受不了了直接退出拨打同企业的人工服务热线。

“服务满足率”这个指标就是通过客户轨迹监控，客户在进入机器人服务以后，在一定时间内没有点击进入人工在线服务，且没有拨打人工热线服务的比例是多大。这个指标清晰直观的可以看到客户用脚投票的情况，也可以辅助的反映机器人的解答客户问题能力。使用机器人最终是为了替代人力劳动，降低人工成本，因此监控客户在机器人上完整解决问题的比例，对于智能机器人客服而言，意义很重大。在业内，基本上没有相关可以参考的行业平均值，我们的情况在85%左右。

（5）调研满意度：有丰富内涵的常规方法

设计一个调研问卷，用外呼的方式，针对近期接受过机器人服务的客户开展调研，这个方法很常规，这里就不赘述。在一定样本量的基础上，这个数据应该最大概率的贴近客户的真实感知，并且通过设计问卷的细项，我们可以找到具体的客户认为机器人不满的点在哪里，同时加以提升和修正。行业不同，调研的内容不同，这个数据的平均参考值也不同，但一般而言，85%会是一个较为合理的衡量标准。