独家丨基于规则和检索的聊天机器人引擎

AI 科技评论按:本文作者王海良,呤呤英语开发总监,北京 JavaScript/Node.js 开发者社区的运营者,曾就职 IBM 创新中心。本文为系列文章第二篇,由 AI 科技评论独家首发。

第一篇传送门:《聊天机器人的发展状况与分类》。在上一篇文章中,介绍了聊天机器人目前的发展。本篇主要介绍基于规则的,检索的聊天机器人引擎 - Bot Engine.

问题域

Speech to Text => Logic => Text to Speech

STT和TTS,目前有很多厂商提供技术产品:

  • Speech to Text 语音识别技术

Google Cloud Platform, IBM Watson API, 云知声,科大讯飞

  • Text to Speech 语音合成技术

IBM Watson API Docs demo

经过多年的研究,尤其是深度学习的采用,在这两项技术上取得了突破性进展。今天本文所要讨论的是logic,而且是基于规则引擎的logic, 基于机器学习的部分将在以后的文章中讨论。

Conversation Model

在两个人之间的对话,可以用下面这个模型表示,双方头脑中所要向对方表达的目标,需要通过语言来交换意见,为了达成共识,二者需要在一个语境下。

为了支撑这个模型,在设计Bot Engine过程中,要考虑如下的要点:

  • 低成本的构建对话
  • 能区分不同类型的对话
  • 规范化输入
  • 高效率的规则引擎
  • 用户画像
  • 回复时,考虑对话的历史记录

低成本的构建对话

构建聊天内容最好是不需要有开发技能,而且有的开发者也没有很好的聊天的技能。即便像Botframework这样的大厂的产品,在构建对话时,都不够友好,只能面向有开发技能的人,而且是一种硬编码。这样对于维护对话很不利。

  • 使用Botframework的waterfall,设计对话的人需要了解builder.Prompts接口和session.beginDialog|endDialog。这样做很不合理。

exports.start = [(session, arg, next) => { builder.Prompts.text(session, "Do you want to start Class now?"); }, (session, results) => { co(function*() { return yield watson.sentiment(results.response); }).then(function(o) { let reply; switch (o.docSentiment.type.toLowerCase()) { case 'positive': reply = '_begin_'; break; case 'negative': reply = "Got it." break; case 'neutral': reply = "Ok, then."; break; } if (reply == '_begin_') { session.beginDialog('/daily_lessons/vocabulary'); } else { builder.Prompts.text(session, reply); session.endDialog(); } }); }];

而另外一方面,使用script的方式,显得更合理,比如SuperScript.

+ Do you want to start Class now? - start_class + ~yes % Do you want to start Class now - Great, ^redirectTo(/daily_lessons/vocabulary) + ~no % Do you want to start Class now - Ok, then.

还有rivescript, chatscript, 同样类似于superscript方式进行构建对话。

能区分不同类型的对话

设计对话时,至少有三种类型的对话:

  • system

系统对话,只能聊一次,或者只能由系统主动发出。比如自我介绍,bot和小明进行初次对话,bot会问:“你叫什么名字?”。小明回答“小明”。那么bot就知道"id:xxx"是小明。而将来bot都不应该再问这个问题。

  • daily

这些是bot可以重复和用户聊的主题,可能并不是每天,它们可以每隔一段频率就触发,比如:问候,节日祝福,“你在做什么”, etc.

  • business

和一些闲聊的机器人不同,bot应该提供一些价值,这些价值可能是个人信息助手, 导购,教育, 播放音乐。

声明对话类型:

> topic:business (vocabulary class) + Do you want to start Class now? - start_class + ~yes % Do you want to start Class now - Great, ^redirectTo(/daily_lessons/vocabulary) + ~no % Do you want to start Class now - Ok, then. <

所以,一个对话看起来像是这个样子。

规范化输入

表达同样的意思,可以有多种表示方法。

whats the color of the calanders what is the colour of the calenders what be the colour of the calender

在将输入语句传给规则引擎前,要先做规则化处理。比如:

  • tokenized - 分词
  • stemmed - 英文单词取词根
  • lemmatized - 英文单词变形的归类(例如单复数归类)
  • part-of-speech (POS) tagger - reads text in some language and assigns parts of speech to each word
  • named entity recognizer (NER) - [ labels sequences of words in a text which are the names of things] 专有名词 - 人名、地名、组织名、URL链接、系统路径等

这里需要结合很多工具库来实现:NLTK, Stanford CoreNLP, Jieba分词,Wordnet, ConceptNet.

比如,借助Stanford CoreNLP,可以有下面的标注:

经过规范化输入,在规则引擎中,可以依赖词性和函数实现更智能的回答。

高效率的规则引擎

Bot可以有大量的主题,即便是只有100主题,每个主题15个对话,那就是1500个规则。如果只是单机运行,至少要进行下面两个优化:

  • 排序

通过聊天的记录和关键字,先给对话栈排序。

排序的思路大概是这样:

1) 查看当前对话,是否还有下文,一个对话的下文可以对应多个规则。

如果有下文,检测是否一个规则能匹配上输入。如果匹配上了,回复。 如果没有下文,或者没有规则能匹配上,进入次优匹配。

2) 次优匹配是将聊天主题的历史记录,使用TF-IDF算法进行排序。

简单说,就是使用一个函数计算用户聊天的对应主题频率。给不同的聊天主题加权重。在次优匹配中,都是处理用户曾经聊过的主题。

3) 在次优匹配中,没有命中,进入其他匹配。

其他匹配包括了以前没有聊过的主题。

  • 并发

在排序后,去同时处理匹配运算,将命中的规则的回复,按照排序的顺序放到数组里,然后,从数组中取第一个元素。这样就比按照顺序一个一个检测快很多。

比如,一些Node.js模块:async

https://www.npmjs.com/package/async

用户画像

在和用户聊天的过程中,获取到的用户相关的信息,有必要记录在数据库中,这其实是构建知识图谱的过程。

知识图谱所用的数据库是存在三个字段的结构化数据:

{ "subject": "Mao", "predict": "chairman", "object": "China" }

由此构建了一个关系:

而B又可以跳转到D。

目前,较为成熟的商业产品和开源方案都有。

Google Knowledge Graph API

链接:https://developers.google.com/knowledge-graph/

cayley graph

链接:https://github.com/cayleygraph/cayley

在Bot Engine中,可以得到相关用户的Knowledge Graph.

this.user.memory.get( ...) this.bot.createUserFact( ...)

使用知识图谱,除了对实体之间完成关系构建外,还有一个原因是,搜索速度非常快,搜索功能强大。

SuperScript

介绍了这么多,那么到底怎么实现一个Bot Engine呢?经过了很多比较后,我觉得基于SuperScript实现Bot Engine是可行的。主要是下面这几点:

  • 社区活跃:目前稳定版本v0.12.2没有bug, 最新版v1.0.0也在快速开发。
  • 轻便灵活: 将SuperScript的源码读了一遍,觉得即便是作者不维护了,我也可以维护。
  • 功能强大:在上面讨论的问题中,SuperScript都是有涉及的。

对话脚本

  • topic type - 话题 https://github.com/superscriptjs/superscript/wiki/Topics
  • conversation - 对话 https://github.com/superscriptjs/superscript/wiki/Conversations
  • function - 插件和函数 https://github.com/superscriptjs/superscript/wiki/Plugins-and-Functions

Get started

  • npm install superscript https://github.com/superscriptjs/superscript

var superscript = require("superscript"); new superscript({ ...}, function(err, bot){ bot.reply("userId", "hello", function(err, reply){ // do your magic }) })

Conclusion

很多人预计2017年,AI方向最可能取得成功的领域是聊天机器人。那么,在这种情况下,面向聊天机器人的架构设计,是一个热门问题。包括Google,Facebook都有可能发布类似于微软的Botframework平台。而Bot Engine, 一种处理对话的引擎,起着很关键的作用。在开源社区,还没有看到哪个呼声非常高的实现,SuperScript,至少在JavaScript社区,是一个不错的选择。

在下一篇文章中,我将介绍使用深度学习技术,依靠聊天语料,训练Bot Model.

Reading List

NaturalNode - General natural language facilities for node.

SuperScript - A dialog system and bot engine for conversational UI's.

Stanford CoreNLP - a suite of core NLP tools

Natural Language Toolkit - NLTK is a leading platform for building Python programs to work with human language data.

How to Cook a Graph Database in a Night - A Knowledge Graphic tool based on LevelDB.

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-02-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏钱曙光的专栏

一周极客热文:C\C++代码优化的27个建议

极客头条上周最受大家关注的和被广泛讨论的是:《C/C++代码优化的27个建议》,这27个黄金建议很是实用,下面我列举一二。 跳转和分支执行代价高,如果可能,尽量...

2015
来自专栏PPV课数据科学社区

如果大数据是任何东西……If Big Data Is Anything at All, This Is It

除了我们几个人是第一次听说过“大数据”这个词,我们是在信息技术厂商开着的营销活动以宣传自己的产品和服务的背景下听到它的。正是这种营销活动使得“大数据”这个词取得...

3218
来自专栏企鹅号快讯

零基础入门Python,值得推荐的几本书籍!

于我个人而言,我很喜欢Python,当然我也有很多的理由推荐你去学Python我只说两点.一是简单,二是写Python薪资高.我觉得这俩理由就够了,对不对.买本...

21710
来自专栏用户2442861的专栏

2014.4 阿里实习生招聘面试经历

  原文  http://blog.csdn.net/don_lvsml/article/details/24586091

1193
来自专栏java一日一条

如何避免软件工程中最昂贵错误的发生

编者按:影响软件工程进度的原因有很多种,而代码重写无疑是最耗费时间的变更之一。那么重写的时候需要注意哪些细节才能把资源开销控制到最低或可接受的程度呢?本文作者E...

602
来自专栏blackheart的专栏

[程序设计语言]-00:目录

1. 开篇概览  前一周写了一篇博文“记-码农的“启蒙”之《程序设计语言-实践之路》和《面向对象分析和设计》两书”,其中说打算总结下这两本书中有哪些收获,就是关...

1925
来自专栏阿杜的世界

持续学习杂谈:阅读前言IT行业的知识结构最近的阅读列表阅读经验

最近在阅读Bob大叔的新书——《Clean Architecture》(需要的同学可以在公众号后台回复数字1获取),感觉字字珠玑,值得反复阅读&品味。关于系统设...

4201
来自专栏韩伟的专栏

你真的理解数码技术吗?(一)

第1章 以数字为语言 知识,是人类得以进化到地球生物链顶端的最重要武器。 在远古的地球上,人类为了捕猎动物聚在一起,通过各种奇奇怪怪的大呼小叫和指手画脚来商量战...

2774
来自专栏Java架构师学习

优秀程序员都具备的五点特性,这些你都有吗?一、 编程能力二、面向对象思维能力三、软实力(学习能力,沟通能力,表达能力)四、利用工具的能力五、创造力(解决问题的能力)

作为一个在it行业混的老鸟,一直有一个疑虑:自己究竟要做到什么程度才算得上优秀?一个优秀程序员(指工资比一般程序员高的那种)最重要的能力是什么?写代码的最高境界...

962
来自专栏程序员互动联盟

程序员必看的十部电影

不同的行业领域中很多时候都分享着共同的思想和理念。比如,大量的计算机编程中涉及到的概念都被运用到了电影里。有些概念出现在电影里后变得如此之酷,甚至反过来能帮助我...

3505

扫码关注云+社区