深度学习与自然语言处理技术

近年来，深度学习在人工智能的多个子领域都取得一定程度的进展，在自然处理领域，深度学习也受到了越来越多的关注。自然语言处理的基础研究主要包括词法分析、句法分析、语义分析、词用语境与篇章分析等的研究。词向量的方法，可以将映射转换到一个独立的向量空间。

自然语言处理技术中采用深度学习知识的原因主要有：

（1）自然语言处理任务中首先要解决的问题是处理对象的表示形式，为了表示对象，通常必须抽取一些特征，如文本的处理中，常常用词集合来表示一个文档。传统依赖手工的方式抽取特征，费时费力，不仅获取过程比较随意，且完备性较差，同时，根据处理任务或领域的不同，特征提取工作要重复进行，无法实现表示共享。深度学习中的特征提取，即指可以自动从数据中学习获取特征，这也是考虑在自然语言处理技术中采用深度学习知识的主要原因。

（2）目前大多数效果较好的自然语言处理任务和机器学习方法都依赖于标注数据，实际应用而言，自然语言中大量存在的是未标注数据。深度神经网络采用无监督方式完成预训练过程，恰恰提供了合适的训练模型。

（3）深度学习结构一般由多层神经网络结点组成，其预训练过程通常需要高性能计算的支持，硬件及软件技术的发展，都为当前采用深度学习结构的自然语言处理提供了良好支撑环境。

自然语言处理基础模型：

(1)神经词袋模型，简单对文本序列中每个词嵌入进行平均，作为整个序列的表示。这种方法的缺点是丢失了词序信息。对于长文本，神经词袋模型比较有效。但是对于短文本，神经词袋模型很难捕获语义组合信息。

(2)递归神经网络，按照一个外部给定的拓扑结构（比如成分句法树），不断递归得到整个序列的表示。递归神经网络的一个缺点是需要给定一个拓扑结构来确定词和词之间的依赖关系，因此限制其使用范围。

(3)循环神经网络，将文本序列看作时间序列，不断更新，最后得到整个序列的表示。但是简单的循环神经网络存在长期依赖问题，不能有效利用长间隔的历史信息。

(4)卷积神经网络，通过多个卷积层和子采样层，最终得到一个固定长度的向量。

文章来源:www.xixi.ai(息息人工智能)