LSTM模型在问答系统中的应用

在问答系统的应用中,用户输入一个问题,系统需要根据问题去寻找最合适的答案。

1、采用句子相似度的方式。根据问题的字面相似度选择相似度最高的问题对应的答案,但是采用这种字面相似度的方式并不能有效的捕获用户意图的能力有限。

2、IBM早期应用在watson系统中的DeepQa(http://Building%20Watson:%20An%20Overview%20of%20the%20DeepQA%20Project)算法。该算法通过人工抽取一系列的特征,然后将这些特征输入一个回归模型。该算法普适性较强,并且能有效的解决实际中的问题,但是准确率和召回率一般。

3、深度学习算法。依然是IBM的watson研究人员在2015年发表了一篇用CNN算法解决问答系统中答案选择问题的paper。通过深度学习算法不仅能够避免了人工手动抽取大量的问题特征的麻烦,并且取得了比DeepQa更好的效果。详细的介绍可以点击这里(http://Applying%20Deep%20Learning%20To%20Answer%20Selection:%20A%20Study%20And%20An%20Open%20Task),我们组的同学去年也针对该paper做了详细的实验,具体的描述可以在这里(https://www.tuicool.com/articles/zyUreqM)找到。

大量的实验证明,在大数据量的情况下,深度学习算法和传统的自然语言算法相比可以获得更优的结果。并且深度学习算法无需手动抽取特征,因此实现相对简便。其中CNN算法被大量的研究和使用,CNN算法的优点在于实现简单(卷积)、并且能够捕获数据位置(单字成词情况下,一次窗口的卷积类似于一次切词的操作)的特征信息。但是对于时序的数据,LSTM算法比CNN算法更加适合。LSTM算法综合考虑的问题时序上的特征,通过3个门函数对数据的状态特征进行计算,这里将针对LSTM在问答系统中的应用进行展开说明。

2016年watson系统研究人员发表了“LSTM-BASED DEEP LEARNING MODELS FOR NON-FACTOID ANSWER SELECTION”,该论文详细的阐述了LSTM算法在问答系统的中的应用,这里将针对文中所描述的算法进行实验。

算法流程图

实验步骤

1、本次实验采用insuranceQA数据,你可以在这里获得。实验之前首先对问题和答案按字切词,然后采用word2vec对问题和答案进行预训练(这里采用按字切词的方式避免的切词的麻烦,并且同样能获得较高的准确率)。

2、由于本次实验采用固定长度的LSTM,因此需要对问题和答案进行截断(过长)或补充(过短)。

3、实验建模Input。本次实验采用问答对的形式进行建模(q,a+,a-),q代表问题,a+代表正向答案,a-代表负向答案。insuranceQA里的训练数据已经包含了问题和正向答案,因此需要对负向答案进行选择,实验时我们采用随机的方式对负向答案进行选择,组合成(q,a+,a-)的形式。

4、将问题和答案进行Embedding(batch_size, sequence_len, embedding_size)表示。

5、对问题和答案采用相同的LSTM模型计算特征(sequence_len, batch_size, rnn_size)。

6、对时序的LSTM特征进行选择,这里采用max-pooling。

7、采用问题和答案最终计算的特征,计算目标函数(cosine_similary)。

目标函数

参数设置

1、这里优化函数采用论文中使用的SGD(采用adam优化函数时效果不如SGD)。

2、学习速率为0.1。

3、训练150轮,大概需要1天的时间,从训练日志观察得到,100轮左右基本达到稳定。

4、margin这里采用0.1,其它参数也试过0.05、0.2效果一般。

5、这里训练没有采用dropout和l2约束,之前试过dropout和l2对实验效果没有提升,这里就没有采用了。

6、batch_size这里采用100。

7、rnn_size为300(继续调大没有明显的效果提升,而且导致训练速度减慢)

8、目标函数采用cosine_similary,实验时也试过欧几里德距离,但是效果不佳。

实验效果对比

QA_CNN(https://github.com/person-lee/qa_cnn):0.62左右

QA_LSTM(https://github.com/person-lee/lstm_qa):0.66左右

QA_BILSTM(https://github.com/person-lee/qa_lstm):0.68左右

注:这里分别实验了单向的LSTM和双向的LSTM算法。单向的LSTM算法只能捕获当前词之前词的特征,而双向的LSTM算法则能够同时捕获前后词的特征,实验证明双向的LSTM比单向的LSTM算法效果更佳。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-10-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【深度学习】一文教你如何确定好的“学习率”

【导读】近日,数据科学家Hafidz Zulkifli发布一篇文章,主要讲解了深度学习中的“学习率”,以及如何利用学习率来提高深度学习模型的性能并减少训练时间。...

3395
来自专栏专知

【明星自动大变脸,嬉笑怒骂加变性】最新StarGAN对抗生成网络实现多领域图像变换(附代码)

【导读】图像之间的风格迁移和翻译是近年来最受关注的人工智能研究方向之一,这个任务在具有趣味性的同时也是很有挑战的。相关的研究成果也层出不穷,有的甚至引起了全世界...

4299
来自专栏量子位

Kaggle优胜者详解:如何用深度学习实现卫星图像分割与识别

王新民 编译 量子位 出品 | 公众号 QbitAI 最近,Kaggle网站举办了一场在卫星图像上进行场景特征检测的比赛,数据集由英国国防科学与技术实验室(DS...

44812
来自专栏机器之心

CVPR 2018 | 优于Mask R-CNN,腾讯优图提出PANet实例分割框架

选自arXiv 作者:Shu Liu 等 机器之心编译 参与:刘晓坤、路雪 近日,港中文联合腾讯优图提出了新型实例分割框架 PANet,该网络通过加速信息流和整...

6599
来自专栏人工智能

Tensorflow新手通过PlayGround可视化初识神经网络

北京 上海巡回站 | NVIDIA DLI深度学习培训 2018年1月26/1月12日 ? NVIDIA 深度学习学院 带你快速进入火热的DL领域 正文共179...

2118
来自专栏机器之心

构建深度神经网络,我有20条「不成熟」的小建议

在我们的机器学习实验室中,我们已经在许多高性能的机器上进行了成千上万个小时的训练,积累了丰富的经验。在这个过程中,并不只有电脑学习到了很多的知识,事实上我们研究...

1021
来自专栏企鹅号快讯

高精准预测—人工神经网络

我就在这里等你关注,不离不弃 ——A·May R-46T-56 ? 「序 言 」 前几天学习了R中的KNN近邻分类预测的做法,KNN近邻分析法可以说是最基础的、...

2006
来自专栏企鹅号快讯

用于大规模行人重识别的行人对齐网络

AI 科技评论按:本文首发于知乎行人重识别专栏,AI 科技评论获其作者郑哲东授权转载。 1.Motivation 近年来,对行人重识别(person re-ID...

3918
来自专栏CVer

[计算机视觉论文速递] 2018-04-17

[1]《Towards Improved Cartoon Face Detection and Recognition Systems》

1162
来自专栏AI科技评论

王宇龙:如何通过关键数据通路去理解网络行为?

AI科技评论按:神经网络长久以来的“黑盒”属性,导致人们一直无法理解网络的内部是如何运作的,针对这个困扰已久的问题,学界主要存在三种研究方向:数据归因模式、特征...

573

扫码关注云+社区