今日 Paper | 自适应次梯度法；多域联合语义框架；无问答对分析；口语系统评价等

自适应次梯度法在线学习与随机优化

dropout：防止神经网络过度拟合

基于双向RNN-LSTM的多域联合语义框架分析

无问答对的大规模语义分析

口语系统评价：ATIS领域

自适应次梯度法在线学习与随机优化

论文名称：Adaptive Subgradient Methods for Online Learning and Stochastic Optimization

作者：John Duchi /Elad Hazan /Yoram Singer

发表时间：2011/7/11

论文链接：http://jmlr.org/papers/volume12/duchi11a/duchi11a.pdf

推荐原因

核心问题：神经网友如何学习优化是一个非常重要的内容，当你学习深度学习的时候，你首先学习的一定是梯度下降算法，但是这个方法存在一些问题，所以之后诞生了很多优秀的算法。

创新点：作者提出一个新的次梯度方法家族,可以动态地吸收之前的看过的数据的信息,来进行基于梯度的学习.它可以找到很有信息的特征。

研究意义：优化算法一直是深度学习的重要点之一。

dropout：防止神经网络过度拟合

论文名称：Dropout: A Simple Way to Prevent Neural Networks from Overfitting

作者：Nitish Srivastava /Geoffrey Hinton /Alex Krizhevsky /Ilya Sutskever /Ruslan Salakhutdinov

发表时间：2014/11/12

论文链接：http://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf

推荐原因

核心问题：在神经网络中经常要面对的一个问题是过拟合问题，目前有很多解决过拟合方法，这里介绍了其中之一。

创新点：本文提出了一种dropout方法，这些方法是目前最流行的解决神经网络过拟合的方法

研究意义：过度拟合是一个严重的问题。大型网络也使用缓慢，很难通过结合许多人的预测来处理过度拟合测试时使用不同的大型神经网络。

基于双向RNN-LSTM的多域联合语义框架分析

论文名称：Multi-Domain Joint Semantic Frame Parsing using Bi-directional RNN-LSTM

作者：Dilek Hakkani-Tur /Gokhan Tur /Asli Celikyilmaz /Yun-Nung Chen /Jianfeng Gao /Li Deng /Ye-Yi Wang

发表时间：2016/2/12

论文链接：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/06/IS16_MultiJoint.pdf

推荐原因

核心问题：这是一篇做对话系统的文章，目前对话系统最主要的三个问题是领域分类，意图识别，实体填充，这三个任务都是nlp的子问题，很多模型都是采用流水线的形式，独立来做，本文探讨了一种联合模型

创新点：

作者提出了一个RNN-LSTM体系结构，用于空位填充、意图确定和领域分类的联合建模。

建立了一个联合多领域模型，支持多任务深度学习，每个领域的数据相互补充。

作者研究了口语理解中词汇上下文建模的替代体系结构。

研究意义：实验结果表明，与基于单域/任务深度学习的替代方法相比，该方法在Microsoft Cortana真实用户数据上的能力更强。

无问答对的大规模语义分析

论文名称：Large-scale Semantic Parsing without Question-Answer Pairs

作者：Siva Reddy /Mirella Lapata /Mark Steedman

发表时间：2014/2/15

论文链接：https://sivareddy.in/papers/reddy2014semanticparsing.pdf

推荐原因

核心问题：在问答系统中，我们经常拥有的先验知识是问答对，通过问题和答案的匹配来做任务，但是如果当没有问题答案对呢？如何从数据中学习出答案？

创新点：本论文的模型不需要问答对，采用用自然语言查询Freebase的解析方法，将语义分析概念化为一个图匹配问题。

研究意义：FREE917和WEBQUESTIONS子集的评价实验基准数据集显示了我们的语义解析器比最先进的技术更先进。

口语系统评价：ATIS领域

论文名称：Evaluation of Spoken Language Systems: the ATIS Domain

作者：P. J. Price

发表时间：1990/6/24

论文链接：https://www.aclweb.org/anthology/H90-1020.pdf

推荐原因

这篇文章有些古老，之所以分享一下是因为想要记录一下。

本文介绍了一些问题背景，概述问题和在“公共”任务域中评估口语系统的初步实验，称为ATIS

讨论了自动语音识别，以及自然语言理解的各个方面。对口语系统的评估是一个很大的进步超越了先前描述的评估机制。