上亿商品的语言处理需求 | 京东AI NLP技术的研究与落地

导 读

从2010年起，深度神经网络开始在各个领域引发人工智能技术的重大突破。在语音识别领域，截止到2017年，借助于深度学习技术语音识别在Switchboard数据集上的词错误率下降到5.1%，基本可与人工识别相媲美；而在图像识别领域、机器翻译、语音合成技术等其他领域也取得了巨大进步，使得机器基本已经做到和人一样能听、能看、能说。随着人工智能技术这些领域的不断突破，人们也更期待看到自然语言处理技术（NLP）带来更多的创新。

语言作为人类区别于其他动物的独有发明，包含了真正的人类智慧。相比客观的物体识别和语音识别，自然语言处理天生带有一些主观猜测的特性，不仅要准确理解把握语义知识，还要做出正确的反应，相当于赋予机器智商与情商。

京东商城平台上拥有以亿为单位的商品，每一个商品都包含了详细的标题、副标题、详情页、评价区等信息，构成了一个由大量自然语言文字组成的电商购物环境。不仅如此，客服、物流、金融等相关服务，都需要使用大量语言、文字去满足用户的需求和体验。但这些庞大的语言处理需求，如果单靠人力来完成，将很难平衡其工作效率与成本。

针对这一系列亟需解决的问题和庞大的客户需求，京东人工智能平台与研究院的NLP科学家和算法工程师们着手从三个技术方向： 情感计算、自然语言生成和对话系统来提高人工效率，优化用户体验。

>>>> 一、情感计算

AI智能客服升级前后测试

今年京东618，在京东人工智能平台与研究院NLP算法工程师的努力下，已经完成了AI智能客服从IQ到EQ的升级，成为业内首个大规模商用的情感智能AI客服。它不仅仅能够精准识别消费者的情感，更能感受每一次交流中，情感浓烈与否的差别。让男生最头疼的“女朋友是一点点生气还是非常生气的问题”，也已经可以轻松解决。

基于深度学习的卷积神经网络（CNN）技术，提取人机对话中的深层语义，使得客服机器人能更准确地感知消费者情感的细微变化，不仅仅知道消费者当前的情感（如生气、开心、焦虑等），更能识别出消费者情感的深度（如一点点生气、很生气、非常生气等）。

不仅如此，京东NLP研究团队还采用了迁移学习技术，利用其他相似数据集提高模型准确度，使模型只需使用少量训练数据，就能达到精准识别的效果。

>>>> 二、自然语言生成

为你写诗、商品详情撰写是自然语言生成技术在商城平台上的代表性应用场景。

给定一组关键字，自然语言自动生成文本有三种方法。一是基于模板，输入关键词生成一句话，但在生成段落文字多生硬死板，缺乏多样性，结果也很不理想；二是通过关键词搜索的方式，机器选取几句话组成段落，这种方式虽然保证的单句的流畅性，但段落间上下文风格很容易违和；第三种基于生成技术的方式，通过采用深度学习方法，机器根据所给出的关键字，往往可以生成通顺、连贯并且具有创造性的文字段落。

由关键词生成文本的主要挑战是生成的不同句子之间缺乏连贯性。目前京东AI NLP团队采用基于生成的生成技术，通过深度学习方法，结合业务特性打磨出了一套独特的创新算法，该算法在保证单句流畅度的同时，也可以保持单句与单句之间逻辑连贯性。

具体做法是：在生成可以生成当前句的文本，也预测下一句话可能的关键词。这个系统保证了文本的流畅性，多样性，上下文关系的逻辑性，属业内首创。

AI为你写诗流程图

京东AI NLP团队的科学家和算法工程师们，利用AI技术赋能，将内容生成运用到了多个零售场景：AI为你写诗机器人可以根据商品特性以及用户情绪和场景为用户配上贴切的现代诗。该团队也创造性的将内容生成运用到商品详情页自动生成中，通过自动输入关键词生成商品描述并且生成文字可以接受客户的人工审核，可以进行人工修改，并将结果回流到系统中，继续优化算法模型，不断提升内容质量。从而构建出一套完整的AI数据闭环。

>>>> 三、对话系统

对话系统技术主要应用在智能客服的场景中，主体服务在售后，聚焦对退货、物流等类别的问题解答，现在京东NLP团队正在完善智能客服的功能，以期在更广泛的业务范围提供更有效的服务。

更广泛的业务范围意味着要接收的信息范围会更大，首先要用自然语言理解技术弄懂用户在问什么？用户的关心的是什么？意图是什么？如果想真正帮助用户，就不能简单一句对一句的对提问做出反应，而是要产生深入的人机交互，比如反问、澄清，利用知识作出应答和推荐。

业内主流的技术路线是基于神经网络技术结合统计学的特征分布和语言学的句法语义分析进行研究，而京东AI NLP团队是以Linguistics Motivated方法为主线，充分吸收采纳统计分析和神经网络的方法和工具。这样做的好处主要是可以使自然语言处理有比较好的可解释性与结构性。

---------------------END---------------------