张童皓：智能语音赋能的客服监督和质检

张童皓，产品及研发总监，曼彻斯特大学信息系统工程硕士。现任携程数据智能部产品及研发总监，负责集团范围内基于大数据及AI的平台及应用交付，包括共享数仓，AB平台，用户画像，模型引擎，智能质检等。加入携程前在eBay中国数据团队任高级产品经理。在大数据/AI领域有超过10年工作经验。

1999年携程创立的时候就是一个O2O的企业，到现在已经是O2O市场的老兵了；创立伊始连接资源和用户的不是手机app，而是客服电话。

2000年前后移动手机在城市人群当中已经开始普及。携程24小时在线的客服，带给客户的便捷，以及和酒店前台相比更贴心、更人性化的服务深入人心，“携程服务好“这样的品牌形象就是从那个时候建立起来的。

大约从2014年开始，O2O行业成为投资的风口，然后就是高速发展的几年；携程作为旅游O2O龙头也参与到了其中。在这个世界变化超级快的时代，携程在为客户创造价值的实践中有些方面做得不够，也得到了媒体的很多反馈；这些反馈不止一次得提醒我们要保持自强自省，持续强化以客户为中心的经营理念，在为客户创造长期价值的基础上，实现共赢。

为了保证“以客户为中心”的价值观落地，携程制定了如下产品四原则： 透明性、可选择性、一致性和公正性。透明性就是要把产品的缺点告诉客户，比如说你买一个机票，退换更改机票的时候费用很贵，这些问题会被重点提示；有可能你看到这个信息以后，会撤销订单，但我们会很高兴尽到了告知义务。可选择性就是只选择你需要的，附件产品默认不勾选；另外要有明显和方便的取消和退订途径。还有就是一致性，不同页面的政策和价格要完全保持一致，通过技术和流程把价格变化的可能性降到最低。还有就是公正性，携程上面有很多对产品的评价，我们的原则站在客户的立场，尽量做到客观公正，把产品相关的评价外露出来，这是我们产品的四原则。

任何不能被量化的原则都只是情怀，为了保证产品四原则能够被严格遵守，我们团队打造了一个360度聆听客户声音的数据中台产品“声呐”。它从以下数据源收集了海量数据：

用户建议-打开你手机中的携程app，在任何一个界面截图，右侧会出现一个小图标，点击这个小按纽，可以给携程提意见

NPS-下单完成之后用户可以用1-10分给体验打分并加以文字反馈

投诉-用户对订单或服务不满意可以联系携程做投诉

舆情-我们的用户在微博这样的社交平台上@携程留下来的评论

这些数据都会收集起来做处理，在酒店场景内，将每一条记录映射到近百个分类当中去，比如涉及透明性的退改订单便捷性，涉及可选择性的保险、捆绑消费，涉及一致性的有价格差，涉及公正性的酒店环境、卫生、硬件设施、点评信息等等，这些信息每日汇总后排名，近7天趋势监控，发生问题立刻有团队介入处理，保证四原则成为团队执行的标尺。这还仅仅是酒店的实践，在度假，机票等其他BU也有同样的监控机制。

以客户为中心，聆听客户声音必须做到无死角，细心的小伙伴可能已经发现了，在以上罗列的数据源中，还没有包含客服通话。

讲到客服我介绍一下这个团队，在携程刚创业的初期，携程的坐席团队几乎等于携程的品牌，那个时候大家对携程的印象就停留在携程客服的角度。酒店客服团队有4500多人，分布在上海和南通等6地，上海是总部，英国韩国也有呼叫中心。行业奖项比如最佳客户联络奖，几乎每年都拿。为了保证客服团队的服务质量，内部有这样一套体系，比如监控电话在第一时间接通率的模块；把握员工工作状态，判断员工在午餐/午休，或者工作时间内的状态的模块；监控电话排队或订单排队情况的模块；如果有一些预定订单出现异常超时，会把订单抓出来发送到对应的团队进行特殊处理。这边都是跟电话系统有关的，基于结构化数据做的一些实时监控。

对电话通话的内容质检要不要做？答案是肯定的。酒店事业部为了支持这4500人团队的质检，有50人的质检团队对通话进行抽检，大家可以算一下4500人的团队假设全员在岗，每个人只产生3个小时的通话，平均下来50个人要听270个小时的录音，才能对这些录音做到全量覆盖，听录音不像看小说，可以一目十行，一个小时的通话，我们质检人员就得听1小时。所以要求人均每天听270小时录音是不可能的。

另外他们只能把有限的资源放到重要的项目上，根据经验判断或者项目规划，这个月可能重点抽查问题A，然后质检人员再抽查下一个项目，比如说查B的时候，A的问题又复发了，怎么能够在第一时间发现这个趋势呢？这也是一个挑战。

还有就是突发情况，前一段时间日本地震，这是没办法提前计划的，没有人知道会地震，但是问题确实发生了，而且这种场景下有大量的客户咨询相关问题，订酒店，或者提前要走，或者航班机票取消等等相关的问题，这些客户有些时候情绪激动不听解释，这也是质检的重灾区，海量的通话数据，回溯历史数据怎么查？就像大海捞针一样。

这些都是传统的质检方式面临的挑战。现在借助于AI的力量，情况正在有些改善。

这是我们正在做的智能质检产品的流程图。通过腾讯的引擎把海量的通话数据转成文本，说到语音转文本就要提到准确率。刚才有小伙伴问腾讯的产品跟市面上的产品相比怎么样？我们跟腾讯的团队一起做过一段时间的评估，不仅做一家腾讯方案的评估，其他产品的评估我们也做过。结果是在旅游的场景内，腾讯AI的识别率更高。稍后大家自己也可以试一下，微信通过语音输入南昌禧悦大酒店，也可以通过其他的app语音输入南昌禧悦大酒店，发现那个“禧”是延禧攻略里面的那个禧。

前面我们有些专家也分享过语音识别场景里的一些难点，在我们的质检场景里面全部都有，游客可能在海外旅游，手机自动切换到本地网络，语音提示可能是日语，可能是英语，客户接起电话说的是中文，有一些海外的客户中英文夹杂着说，还有一些背景音，还有在机场里面的大喇叭，还有夫妻二人两个人对着麦克风一起说话，好在我们有这样一个合作机制，我们将旅游场景内的专业话术发送给腾讯的团队，把真实场景里面的语音通话脱敏后发给腾讯的算法团队，然后优化，腾讯团队有强大的研发能力，在这个合作模式下打造出中国OTA行业语音识别的标杆产品，应该也是可以期待的。这是语音转文本这一块。

结合我们自己团队提供的一些质检业务规则，我们打造了智能质检模块。这里有些质检规则的例子：座席和客户抢话：对于座席解决问题的效率我们是有要求的，客户的问题越早点处理好越好，有些座席着急可能会在客户说话时抢话。今天早上我听一个电话，这个客户的日语比较好，对着电话给我们的坐席讲了10分钟的课，我们的坐席工作人员就听了10分钟。这是非常有耐心的座席人员，但是如果没有耐心可能就会出现抢话。借助腾讯ASR精准的断句，我们判断每段话的开始结束时间，如果中间出现了大量的重叠，很有可能就是抢话录音。再比如说我们的产品本身，退改的便捷性，酒店的卫生环境，硬件水平，周边环境等等，如果客户打电话提起这个事情，我们是要归类的，这些重点关注的指标，我们的客服团队每天每人承担一些标注任务，我们然后分发到算法团队做模型，部署后做重点问题检测。

日本地震是突发性的，我们不可能做人工标注，来不及，就用语义搜索的方式，用关健词搜索帮助业务团队迅速定位到通话记录，不能做到全量覆盖，但相比以前大海捞针也是一个突破。搜到结果之后，业务团队再根据自己的质检规则进行相应的处理。

简单介绍一下算法。先通过我们的标注数据构造一个关键词库，对每一段通话数据，也提取出关键词并和关键词库对比去除掉不需要的关健词，对存量的关健词做一个转化，通过双向LSTM+注意力深度学习模型做处理。在这个场景下面，我们发现降价和好多跟现有的价格标签关联度很高，得出这样一个关联关系。然后在第二层第三层标签里面继续看，这个地方就会打出来价格倒挂的标签。所谓价格倒挂就是在携程上面下了订单，到了现场，发现酒店的价格现场更便宜，客户会打电话投诉，我们会询问酒店为什么出现这样的一种情况？

这是我们算法团队做算法选型的时候做的一些研究，从简单到复杂，这是价格倒挂的测试结果，从准确率到召回，这些指标从低到高的状态，训练时间从四秒/epoch，然后到680秒/epoch，因为我们现在做的是离线的，选择最右边的，虽然耗时比较长，但是其他各项指标满足我们的需要。

打标签的实践中拿出来的一个准确率评估，大家可以看到传统的方式跟深度学习还是有很大的差距。

这是我们对智能质检的展望，有些已经变成现实。我们用5台服务器对酒店的语音做到全量覆盖。凡是被我们打过标签的问题我们会持续的监控，如果这个趋出现了异常的抬头，我们团队就会知道，不用再做增量的工作了。突发的问题没有办法用人工标注及时解决的，我们用搜索功能给予支持。

另外我们的目的希望帮助业务团队提高他们的业务水平，我们有这样的计划，通过对比业绩比较好的座席人员平时说话的话术和业绩表现不是很好的这些客服人员的话术，我们会做一个对比，看看能不能挖掘出在在线旅游场景当中的金牌话术并给团队做培训。4500人里面每个月有2%的人员变动，有了人工智能的培训方式，希望新来的员工迅速的上手进入状态。

现在做的都是离线处理，以后实时的功能出来，实时弹出来我们的知识库和最相关的解决方案，让座席人员解决问题更有效率。

Q&A

Q：坐席人员呼叫状态的监测，是基于规则还是模型？

A：模型我们没有做过深入的调研，是华为的一套系统，可以搜一下，可以看到它的产品介绍。

Q：我想问一下这类活动有没有考虑过对外部进行输出？

A：有考虑，整个质检是在封闭的场景里面，在线旅游其实有小旅行社，酒店，没有自己的客服力量，晚上前台没有人，客户打电话来如果出现了一些投诉，订单咨询，预处理，需要话术做到高精度识别，有想法，还没有落实，需要更深入的了解。

附件如下：