LSTM模型在问答系统中的应用

在问答系统的应用中,用户输入一个问题,系统需要根据问题去寻找最合适的答案。

1、采用句子相似度的方式。根据问题的字面相似度选择相似度最高的问题对应的答案,但是采用这种字面相似度的方式并不能有效的捕获用户意图的能力有限。

2、IBM早期应用在watson系统中的DeepQa(http://Building%20Watson:%20An%20Overview%20of%20the%20DeepQA%20Project)算法。该算法通过人工抽取一系列的特征,然后将这些特征输入一个回归模型。该算法普适性较强,并且能有效的解决实际中的问题,但是准确率和召回率一般。

3、深度学习算法。依然是IBM的watson研究人员在2015年发表了一篇用CNN算法解决问答系统中答案选择问题的paper。通过深度学习算法不仅能够避免了人工手动抽取大量的问题特征的麻烦,并且取得了比DeepQa更好的效果。详细的介绍可以点击这里(http://Applying%20Deep%20Learning%20To%20Answer%20Selection:%20A%20Study%20And%20An%20Open%20Task),我们组的同学去年也针对该paper做了详细的实验,具体的描述可以在这里(https://www.tuicool.com/articles/zyUreqM)找到。

大量的实验证明,在大数据量的情况下,深度学习算法和传统的自然语言算法相比可以获得更优的结果。并且深度学习算法无需手动抽取特征,因此实现相对简便。其中CNN算法被大量的研究和使用,CNN算法的优点在于实现简单(卷积)、并且能够捕获数据位置(单字成词情况下,一次窗口的卷积类似于一次切词的操作)的特征信息。但是对于时序的数据,LSTM算法比CNN算法更加适合。LSTM算法综合考虑的问题时序上的特征,通过3个门函数对数据的状态特征进行计算,这里将针对LSTM在问答系统中的应用进行展开说明。

2016年watson系统研究人员发表了“LSTM-BASED DEEP LEARNING MODELS FOR NON-FACTOID ANSWER SELECTION”,该论文详细的阐述了LSTM算法在问答系统的中的应用,这里将针对文中所描述的算法进行实验。

算法流程图

实验步骤

1、本次实验采用insuranceQA数据,你可以在这里获得。实验之前首先对问题和答案按字切词,然后采用word2vec对问题和答案进行预训练(这里采用按字切词的方式避免的切词的麻烦,并且同样能获得较高的准确率)。

2、由于本次实验采用固定长度的LSTM,因此需要对问题和答案进行截断(过长)或补充(过短)。

3、实验建模Input。本次实验采用问答对的形式进行建模(q,a+,a-),q代表问题,a+代表正向答案,a-代表负向答案。insuranceQA里的训练数据已经包含了问题和正向答案,因此需要对负向答案进行选择,实验时我们采用随机的方式对负向答案进行选择,组合成(q,a+,a-)的形式。

4、将问题和答案进行Embedding(batch_size, sequence_len, embedding_size)表示。

5、对问题和答案采用相同的LSTM模型计算特征(sequence_len, batch_size, rnn_size)。

6、对时序的LSTM特征进行选择,这里采用max-pooling。

7、采用问题和答案最终计算的特征,计算目标函数(cosine_similary)。

目标函数

参数设置

1、这里优化函数采用论文中使用的SGD(采用adam优化函数时效果不如SGD)。

2、学习速率为0.1。

3、训练150轮,大概需要1天的时间,从训练日志观察得到,100轮左右基本达到稳定。

4、margin这里采用0.1,其它参数也试过0.05、0.2效果一般。

5、这里训练没有采用dropout和l2约束,之前试过dropout和l2对实验效果没有提升,这里就没有采用了。

6、batch_size这里采用100。

7、rnn_size为300(继续调大没有明显的效果提升,而且导致训练速度减慢)

8、目标函数采用cosine_similary,实验时也试过欧几里德距离,但是效果不佳。

实验效果对比

QA_CNN(https://github.com/person-lee/qa_cnn):0.62左右

QA_LSTM(https://github.com/person-lee/lstm_qa):0.66左右

QA_BILSTM(https://github.com/person-lee/qa_lstm):0.68左右

注:这里分别实验了单向的LSTM和双向的LSTM算法。单向的LSTM算法只能捕获当前词之前词的特征,而双向的LSTM算法则能够同时捕获前后词的特征,实验证明双向的LSTM比单向的LSTM算法效果更佳。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-10-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序生活

理解LSTM网络(整合)Recurrent Neural Networks长期依赖(Long-Term Dependencies)问题LSTM 网络GRU - Gated Recurrent Unit

1102
来自专栏专知

一个实例读懂监督学习:Python监督学习实战

【导读】1月28日,Vihar Kurama和Sai Tejaswie撰写了一篇机器学习技术博文,为读者介绍了如何用python进行监督学习。作者首先解释什么是...

4397
来自专栏机器学习算法原理与实践

用hmmlearn学习隐马尔科夫模型HMM

    在之前的HMM系列中,我们对隐马尔科夫模型HMM的原理以及三个问题的求解方法做了总结。本文我们就从实践的角度用Python的hmmlearn库来学习HM...

1094
来自专栏AI科技大本营的专栏

一文搞懂交叉熵在机器学习中的使用,透彻理解交叉熵背后的直觉

交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距。以前做一些分类问题的时候,没有过多的注意,直接调用现成的库,用...

1234
来自专栏机器之心

离散优化代替反向传播:Pedro Domingos提出深度学习新方向

3426
来自专栏大数据文摘

论文Express | 英伟达最新:多模态无监督图像迁移网络框架

1162
来自专栏ATYUN订阅号

利用TensorFlow生成图像标题

图像标题生成器模型结合了计算机视觉和机器翻译的最新进展,利用神经网络生成现实的 图像标题。神经图像标题模型被训练,以最大限度地产生给定输入图像的字幕的可能性。并...

3845
来自专栏人工智能LeadAI

计算机视觉中 RNN 应用于目标检测

深度学习在计算机视觉领域取得的巨大的发展,最近几年CNN一直是目前主流模型所采取的架构。最近半年RNN/LSTM应用在识别领域逐渐成为一种潮流,RNN在获取目标...

4955
来自专栏机器之心

盘点 | 对比图像分类五大方法:KNN、SVM、BPNN、CNN和迁移学习

选自Medium 机器之心编译 参与:蒋思源、黄小天、吴攀 图像分类是人工智能领域的基本研究主题之一,研究者也已经开发了大量用于图像分类的算法。近日,Shiyu...

4818
来自专栏PPV课数据科学社区

机器学习测试题(上)

人工智能一直助力着科技发展,新兴的机器学习正推动着各领域的进步。如今,机器学习的方法已经无处不在—从手机上的语音助手到商业网站的推荐系统,机器学习正以不容忽视...

28212

扫描关注云+社区