【资源】用深度学习解决自然语言处理中的7大问题,文本分类、语言建模、机器翻译等

【新智元导读】自然语言处理领域正在从统计学方法转向神经网络方法。在自然语言中,仍然存在许多具有挑战性的问题。但是,深度学习方法在某些特定的语言问题上取得了state-of-the-art的结果。这篇文章将介绍深度学习方法正在取得进展的7类自然语言处理任务。

自然语言处理领域正在从统计学方法转向神经网络方法。在自然语言中,仍然存在许多具有挑战性的问题。但是,深度学习方法在某些特定的语言问题上取得了state-of-the-art的结果。不仅仅是在一些benchmark问题上深度学习模型取得的表现,这是最有趣的;事实上,单个模型可以学习单词的含义和执行语言任务,从而避免需要一套专门的、人工的方法。

这篇文章将介绍深度学习方法正在取得进展的7类有趣的自然语言处理任务。

  • 文本分类
  • 语言建模
  • 语音识别
  • 字幕生成
  • 机器翻译
  • 文档摘要
  • 问题回答

每个任务都提供了对问题的描述,一个例子,以及有关演示方法和结果的论文的引用。大多数参考资料来自Goldberg的A Primer on Neural Network Models for Natural Language Processing(https://arxiv.org/abs/1510.00726)。

1. 文本分类

给定一个文本的例子,预测一个预定义的类标签。

文本分类的目的是对文档的话题或主题进行分类。

——统计自然语言处理基础(Foundations of Statistical Natural Language Processing,1999)

流行的分类示例是情绪分析,其中类标签表示源文本的情绪基调,例如“积极”或“消极”。

以下是另外3个例子:

  • 垃圾邮件过滤,将电子邮件文本分类为垃圾邮件。
  • 语言识别,对源文本的语言进行分类。
  • 流派分类,对虚构故事的流派进行分类。

此外,这个问题也可能是一个文本被分为多个类的方式,即所谓的多标签分类。例如,预测源推文的多个标签。

更多阅读:

  • 文本分类-学术百科 www.scholarpedia.org/article/Text_categorization
  • 文档分类-维基百科 https://en.wikipedia.org/wiki/Document_classification

下面是有关文本分类的一些深度学习论文:

  • 对烂番茄影评的情感分析

Deep Unordered Composition Rivals Syntactic Methods for Text Classification, 2015. https://cs.umd.edu/~miyyer/pubs/2015_acl_dan.pdf

  • 对amazon产品评论、IMDB电影评论和分类主题新闻文章情绪分析

Effective Use of Word Order for Text Categorization with Convolutional Neural Networks, 2015. https://arxiv.org/abs/1412.1058

  • 对电影评论的情绪分析,将句子归类为主观或客观,对问题类型进行分类,对产品评论的情感进行分类,等等。

Convolutional Neural Networks for Sentence Classification, 2014. https://arxiv.org/abs/1408.5882

2. 语言建模

语言建模实际上是一个更有趣的自然语言问题的子任务,特别是那些在其他输入条件下调节语言模型的问题。

这个问题是根据前面的单词预测下一个单词。该任务是语音识别或光学字符识别(OCR)的基础,也用于拼写校正、手写识别和统计机器翻译。

——Foundations of Statistical Natural Language Processing (page 191), by Christopher D. Manning & Hinrich Schütze

除了语言建模的学术兴趣,它是许多深度学习自然语言处理架构的关键组成部分。语言模型学习词汇之间的概率关系,生成在统计上与源文本一致的新的词汇序列。

单独来说,语言模型可以用于文本或语音生成;例如:

  • 生成新的文章标题
  • 生成新的句子、段落或文档
  • 生成一个句子的后续句子

有关语言建模的更多内容,参阅:

  • 语言建模-维基百科 https://en.wikipedia.org/wiki/Language_model
  • 循环神经网络的不合理有效性(The Unreasonable Effectiveness of Recurrent Neural Networks)2015
  • 基于生成模型的文本到语音合成 https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture 10 - Text to Speech.pdf

下面是一个关于语言建模深度学习例子:

  • 英语文本、书籍和新闻文章的语言模型
  • 一种神经概率语言模型(A Neural Probabilistic Language Model)www.jmlr.org/papers/v3/bengio03a.html

3.语音识别

语音识别是指理解所说的问题。语音识别的任务是将一个包含自然语言话语的声音信号映射到说话者预期的相应序列。

——深度学习(page 458)

给定话语的音频数据,语音识别模型需要生成人类可读的文本。考虑到这个过程的自动性质,这个问题也可以被称为自动语音识别(ASR)。使用语言模型来创建文本输出,该输出基于音频数据。

一些例子包括:

  • 转录讲话
  • 为电影或电视节目制作文字说明
  • 开车时用语音发出指令

有关语音识别的更多信息,请参阅:

  • 语音识别-维基百科 https://en.wikipedia.org/wiki/Speech_recognition

下面是三个用于语音识别的深度学习方法的例子:

英语语音转文本

  • Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks,2006

www.cs.toronto.edu/~graves/icml_2006.pdf

  • Speech Recognition with Deep Recurrent Neural Networks, 2013.

https://arxiv.org/abs/1303.5778

  • Exploring convolutional neural network structures and optimization techniques for speech recognition, 2014.

https://www.microsoft.com/en-us/research/publication/exploring-convolutional-neural-network-structures-and-optimization-techniques-for-speech-recognition/

4. 字幕生成

字幕生成是有关描述图像内容的问题。给定例如照片等数字图像,生成图像内容的文本描述。语言模型用于创建以图像为条件的描述。

一些例子包括:

  • 描述场景内容
  • 创建照片标题
  • 描述视频

这不仅仅是为听力障碍者的应用,而且还可以生成可用于搜索图像和视频的具有可读性的文本,例如在网络上。

以下是3个字幕生成深入学习方法的例子:

  • 生成照片标题

Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, 2016.

https://arxiv.org/abs/1502.03044

  • Show and tell: A neural image caption generator, 2015.

https://arxiv.org/abs/1411.4555

  • 生成视频字幕

Sequence to Sequence – Video to Text, 2015.

https://arxiv.org/abs/1505.00487

5. 机器翻译

机器翻译是将一种语言的源文本转换为另一种语言的问题。

机器翻译,将文本或语音从一种语言自动翻译成另一种语言,是NLP最重要的应用之一。

——统计自然语言处理基础,463页,1999。

考虑到神经网络的使用,这一领域也被称为神经机器翻译。

在机器翻译任务中,输入已经由某种语言的符号序列组成,并且计算机程序必须将其转换成其他语言的符号序列。这通常适用于自然语言,例如从英语翻译成法语。深度学习最近开始在这类任务上有重要影响。

——深度学习,98页,2016

语言模型用于以另一种语言输出目标文本,以源文本为条件。

一些例子包括:

  • 将文本文件从法语翻译成英语
  • 将西班牙语音频转换为德语文本
  • 将英语文本翻译成意大利语音频

有关神经机器翻译的更多信息,参阅:

  • 神经机器翻译-维基百科 https://en.wikipedia.org/wiki/Neural_machine_translation

以下是机器翻译深度学习方法的3个例子:

将英语翻译成法语

  • Sequence to Sequence Learning with Neural Networks, 2014.

https://arxiv.org/abs/1409.3215

  • Neural Machine Translation by Jointly Learning to Align and Translate, 2014.

https://arxiv.org/abs/1409.0473

  • Joint Language and Translation Modeling with Recurrent Neural Networks, 2013.

https://www.microsoft.com/en-us/research/publication/joint-language-and-translation-modeling-with-recurrent-neural-networks/

6. 文档摘要

文档摘要是创建文本文档的简短描述的任务。即,使用语言模型来输出基于完整文档的总结性摘要。

文件摘要的一些例子包括:

  • 创建文档的标题
  • 创建文档的概要

有关该主题的更多信息,请参阅:

  • Automatic summarization-维基百科 https://en.wikipedia.org/wiki/
  • 深度学习是否(成功地)被应用于自动文本摘要?https://www.quora.com/Has-Deep-Learning-been-applied-to-automatic-text-summarization-successfully

以下是关于文档摘要深度学习方法的3个例子:

新闻文章中的句子概要:

  • A Neural Attention Model for Abstractive Summarization, 2015.

https://arxiv.org/abs/1509.00685

  • Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond, 2016.

https://arxiv.org/abs/1602.06023

  • Neural Summarization by Extracting Sentences and Word, 2016.

https://arxiv.org/abs/1603.07252

7. 问题回答

问题回答是给出一个主题(例如文本文档)回答有关该主题的具体问题的任务。

一些例子:

  • 回答有关维基百科页面的问题
  • 回答有关新闻文章的问题
  • 回答有关病例的问题

参阅:

  • Question answering - 维基百科

https://en.wikipedia.org/wiki/Question_answering

  • 回答有关新闻文章的问题

Teaching Machines to Read and Comprehend, 2015.

papers.nips.cc/paper/5945-teaching-machines-to-read-and-comprehend

  • 回答一般知识问题

Question Answering over Freebase with Multi-Column Convolutional Neural Networks, 2015.

www.aclweb.org/anthology/P15-1026

  • 回答基于特定文件的实质性问题

Deep Learning for Answer Sentence Selection, 2015.

https://arxiv.org/abs/1412.1632

更多阅读

  • A Primer on Neural Network Models for Natural Language Processing, 2015.

https://arxiv.org/abs/1510.00726

  • Natural Language Processing (almost) from Scratch, 2011.

https://arxiv.org/abs/1103.0398

  • Deep Learning for Natural Language Processing, Practicals Overview, Oxford, 2017

https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture 2b - Overview of the Practicals.pdf

  • What NLP problems has deep learning or neural networks been applied to successfully?

https://www.quora.com/What-NLP-problems-has-deep-learning-or-neural-networks-been-applied-to-successfully

  • Can deep learning make similar breakthroughs in natural language processing as it did in vision & speech?

https://www.quora.com/Can-deep-learning-make-similar-breakthroughs-in-natural-language-processing-as-it-did-in-vision-speech

原文:https://machinelearningmastery.com/applications-of-deep-learning-for-natural-language-processing/

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-09-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法原理与实践

强化学习(八)价值函数的近似表示与Deep Q-Learning

    在强化学习系列的前七篇里,我们主要讨论的都是规模比较小的强化学习问题求解算法。今天开始我们步入深度强化学习。这一篇关注于价值函数的近似表示和Deep Q...

1861
来自专栏BestSDK

10 种最热门的机器学习算法|附源代码

1、线性回归 线性回归通常用于根据连续变量估计实际数值(房价、呼叫次数、总销售额等)。我们通过拟合最佳直线来建立自变量和因变量的关系。这条最佳直线叫做回归线,并...

4015
来自专栏SIGAI学习与实践平台

机器学习发展历史回顾

机器学习是现阶段解决很多人工智能问题的主流方法,作为一个独立的方向,正处于高速发展之中。最早的机器学习算法可以追溯到20世纪初,到今天为止,已经过去了100多年...

2293
来自专栏腾讯大讲堂的专栏

深度学习及并行化实现概述

摘要: 深度学习可以完成需要高度抽象特征的人工智能任务,如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多个隐藏层的人工神经网络,多层非线性结构使其具...

2728
来自专栏机器之心

资源 | 你是合格的数据科学家吗?30道题测试你的NLP水平

选自Analyticsvidhya 作者:Shivam Bansal 机器之心编译 参与:黄小天、李亚洲、Smith 近日,analyticsvidhya 上出...

3978
来自专栏机器之心

学界 | 超级收敛:使用超大学习率超快速训练残差网络

选自arXiv 机器之心编译 参与:Panda 训练大型神经网络往往很耗时间。在最近一篇论文中,美国海军研究实验室和马里兰大学的两位研究者展示了一种名叫「超级收...

3034
来自专栏新智元

一文读完GitHub30+篇顶级机器学习论文(附摘要和论文下载地址)

作者:常佩琦 弗格森 【新智元导读】 今天介绍Github上的开源项目,专门用于更新最新的研究突破,具体说来,就是什么算法在哪一个数据集上取得了state-of...

47111
来自专栏人工智能

十种深度学习算法要点及代码解析

谷歌董事长施密特曾说过:虽然谷歌的无人驾驶汽车和机器人受到了许多媒体关注,但是这家公司真正的未来在于机器学习,一种让计算机更聪明、更个性化的技术。 也许我们生活...

2478
来自专栏新智元

榜单 | Github 深度学习项目排行榜

【新智元导读】GitHub上根据星级(stra)列出了最常用的53个深度学习项目。其中,最受欢迎的是TensorFlow。表格的整理人ID分别是aymericd...

48510
来自专栏机器之心

学界 | 上海交大卢策吾团队开源PointSIFT刷新点云语义分割记录

论文:PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentatio...

2343

扫码关注云+社区

领取腾讯云代金券