LSTM模型在问答系统中的应用

在问答系统的应用中,用户输入一个问题,系统需要根据问题去寻找最合适的答案。

1、采用句子相似度的方式。根据问题的字面相似度选择相似度最高的问题对应的答案,但是采用这种字面相似度的方式并不能有效的捕获用户意图的能力有限。

2、IBM早期应用在watson系统中的DeepQa(http://Building%20Watson:%20An%20Overview%20of%20the%20DeepQA%20Project)算法。该算法通过人工抽取一系列的特征,然后将这些特征输入一个回归模型。该算法普适性较强,并且能有效的解决实际中的问题,但是准确率和召回率一般。

3、深度学习算法。依然是IBM的watson研究人员在2015年发表了一篇用CNN算法解决问答系统中答案选择问题的paper。通过深度学习算法不仅能够避免了人工手动抽取大量的问题特征的麻烦,并且取得了比DeepQa更好的效果。详细的介绍可以点击这里(http://Applying%20Deep%20Learning%20To%20Answer%20Selection:%20A%20Study%20And%20An%20Open%20Task),我们组的同学去年也针对该paper做了详细的实验,具体的描述可以在这里(https://www.tuicool.com/articles/zyUreqM)找到。

大量的实验证明,在大数据量的情况下,深度学习算法和传统的自然语言算法相比可以获得更优的结果。并且深度学习算法无需手动抽取特征,因此实现相对简便。其中CNN算法被大量的研究和使用,CNN算法的优点在于实现简单(卷积)、并且能够捕获数据位置(单字成词情况下,一次窗口的卷积类似于一次切词的操作)的特征信息。但是对于时序的数据,LSTM算法比CNN算法更加适合。LSTM算法综合考虑的问题时序上的特征,通过3个门函数对数据的状态特征进行计算,这里将针对LSTM在问答系统中的应用进行展开说明。

2016年watson系统研究人员发表了“LSTM-BASED DEEP LEARNING MODELS FOR NON-FACTOID ANSWER SELECTION”,该论文详细的阐述了LSTM算法在问答系统的中的应用,这里将针对文中所描述的算法进行实验。

算法流程图

实验步骤

1、本次实验采用insuranceQA数据,你可以在这里获得。实验之前首先对问题和答案按字切词,然后采用word2vec对问题和答案进行预训练(这里采用按字切词的方式避免的切词的麻烦,并且同样能获得较高的准确率)。

2、由于本次实验采用固定长度的LSTM,因此需要对问题和答案进行截断(过长)或补充(过短)。

3、实验建模Input。本次实验采用问答对的形式进行建模(q,a+,a-),q代表问题,a+代表正向答案,a-代表负向答案。insuranceQA里的训练数据已经包含了问题和正向答案,因此需要对负向答案进行选择,实验时我们采用随机的方式对负向答案进行选择,组合成(q,a+,a-)的形式。

4、将问题和答案进行Embedding(batch_size, sequence_len, embedding_size)表示。

5、对问题和答案采用相同的LSTM模型计算特征(sequence_len, batch_size, rnn_size)。

6、对时序的LSTM特征进行选择,这里采用max-pooling。

7、采用问题和答案最终计算的特征,计算目标函数(cosine_similary)。

目标函数

参数设置

1、这里优化函数采用论文中使用的SGD(采用adam优化函数时效果不如SGD)。

2、学习速率为0.1。

3、训练150轮,大概需要1天的时间,从训练日志观察得到,100轮左右基本达到稳定。

4、margin这里采用0.1,其它参数也试过0.05、0.2效果一般。

5、这里训练没有采用dropout和l2约束,之前试过dropout和l2对实验效果没有提升,这里就没有采用了。

6、batch_size这里采用100。

7、rnn_size为300(继续调大没有明显的效果提升,而且导致训练速度减慢)

8、目标函数采用cosine_similary,实验时也试过欧几里德距离,但是效果不佳。

实验效果对比

QA_CNN(https://github.com/person-lee/qa_cnn):0.62左右

QA_LSTM(https://github.com/person-lee/lstm_qa):0.66左右

QA_BILSTM(https://github.com/person-lee/qa_lstm):0.68左右

注:这里分别实验了单向的LSTM和双向的LSTM算法。单向的LSTM算法只能捕获当前词之前词的特征,而双向的LSTM算法则能够同时捕获前后词的特征,实验证明双向的LSTM比单向的LSTM算法效果更佳。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-10-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏项勇

笔记68 | 切换fragmengt的replace和add方法笔记

1444
来自专栏拭心的安卓进阶之路

Java 集合深入理解(12):古老的 Vector

今天刮台风,躲屋里看看 Vector ! 都说 Vector 是线程安全的 ArrayList,今天来根据源码看看是不是这么相...

2437
来自专栏java闲聊

JDK1.8 ArrayList 源码解析

当运行 ArrayList<Integer> list = new ArrayList<>() ; ,因为它没有指定初始容量,所以它调用的是它的无参构造

1192
来自专栏xingoo, 一个梦想做发明家的程序员

Spark踩坑——java.lang.AbstractMethodError

百度了一下说是版本不一致导致的。于是重新检查各个jar包,发现spark-sql-kafka的版本是2.2,而spark的版本是2.3,修改spark-sql-...

1200
来自专栏xingoo, 一个梦想做发明家的程序员

20120918-向量实现《数据结构与算法分析》

#include <iostream> #include <list> #include <string> #include <vector> #include...

1706
来自专栏拭心的安卓进阶之路

Java 集合深入理解(6):AbstractList

今天心情比天蓝,来学学 AbstractList 吧! ? 什么是 AbstractList ? AbstractList 继承自 AbstractCollec...

19110
来自专栏ml

朴素贝叶斯分类器(离散型)算法实现(一)

1. 贝叶斯定理:        (1)   P(A^B) = P(A|B)P(B) = P(B|A)P(A)   由(1)得    P(A|B) = P(B|...

3417
来自专栏计算机视觉与深度学习基础

Leetcode 114 Flatten Binary Tree to Linked List

Given a binary tree, flatten it to a linked list in-place. For example, Given...

1938
来自专栏赵俊的Java专栏

从源码上分析 ArrayList

1161
来自专栏开发与安全

算法:AOV网(Activity on Vextex Network)与拓扑排序

在一个表示工程的有向图中,用顶点表示活动,用弧表示活动之间的优先关系,这样的有向图为顶点表示活动的网,我们称之为AOV网(Activity on Vextex ...

2517

扫码关注云+社区