深度学习用于NLP中的论文及代码集锦

[1] Character-based Joint Segmentation and POS Tagging for Chineseusing Bidirectional RNN-CRF

Yan Shao et al.

Uppsala University, University of Helsinki

IJCNLP 2017

http://www.aclweb.org/anthology/I17-1018

这篇论文提出一种基于字符的模型,用于中文分词和词性标注。该模型框架基于双向RNN-CRF,可以用于序列标注,这种模型可以捕捉丰富的上下文信息并且可以采集子词级别的特征。

网络结构如下

加入上下文信息的词向量拼接示例如下

该论文中还利用卷积神经网络对每个字提取拼写特征

网络中的超参数如下

数据集信息统计如下

算法效果示例如下

跟其他模型对比结果如下

耗时统计信息如下

数据集分割示例如下

单个模型跟集成模型结果对比如下

代码地址

https://github.com/yanshao9798/tagger

[2] Neural Word Segmentation Learning for Chinese

Deng Cai

Shanghai Jiao Tong University

ACL 2016

http://www.aclweb.org/anthology/P16-1039

这篇文章提出一种新颖的神经网络框架,该框架不利用上下文窗口,并且可以利用历史的完整分词。这种模型将门限组合神经网络用于字符来产生候选词的分布式表示,然后利用lstm模型来打分。

不同模型的特征窗口对比如下

该文框架如下

GCNN结构示例如下

Beam Search 伪代码如下

超参数设置如下

Beam Size对模型影响示例如下

不同模型结果对比如下

最大词长影响如下

代码地址

https://github.com/jcyk/CWS

[3] Long Short-Term Memory Neural Networksfor Chinese Word Segmentation

Xinchi Chen et al.

Fudan University

EMNLP 2015

http://www.aclweb.org/anthology/D15-1141

这篇文章将LSTM用于中文分词,这种网络能够在记忆单元中保持先前的重要信息,并且避免了局部上下文窗口大小的限制。

中文分词网络结构示例如下

LSTM记忆单元示例如下

该文中提出的四种结构如下

不同参数对比如下

超参数设置如下

不同模型结果对比如下

不同模型及参数的结果对比如下

代码地址

https://github.com/FudanNLP/CWS_LSTM

[4] Convolutional Neural Network with Word Embeddings forChinese Word Segmentation

Chunqi Wang, Bo Xu

Chinese Academy of Sciences

IJCNLP 2017

http://www.aclweb.org/anthology/I17-1017

这篇文章利用卷积神经网络来学习n-gram特征,并且不需要任何特征工程。

中文分词与序列标注的关系示例如下

CNN与GLU结合示例如下

堆叠卷积层示例如下

词特征示例如下

本文的超参数如下

各模型效果对比如下

学习曲线如下

卷积层数影响如下

预训练影响如下

bigram影响如下

预训练中无标签样本量影响如下

代码地址

https://github.com/chqiwang/convseg

[5] Deep Learning for Chinese Word Segmentation and POS Tagging

Xiaoqing Zheng et al.

Fudan University

EMNLP 2013

http://www.aclweb.org/anthology/D13-1061

这篇文章将深度学习用于中文分词和词性标注。

网络结构示例如下

训练算法如下

窗口大小对模型效果影响如下

其中SSL为sentence-level loglikelihood,PSA为perceptron-style trainingalgorithm,SEG为word segmentation,JWP为jointword segmentation and POS tagging

隐含层单元个数影响如下

超参数设置如下

各方法效果对比如下

各方法参数个数及耗时对比如下

为方便大家交流,已开通以下几个群

自然语言处理交流群

计算机视觉交流群

推荐系统交流群

广告算法交流群

自动驾驶交流群

语音识别交流群

其他推荐的群(暂未开通)

欢迎感兴趣的朋友加入,入群方式:

关注公众号之后在后台发送"入群"或"加群",小编会把您拉进相应的群,谢谢

可以通过以下方式关注

本公众号(微信号:mlanddlanddm)专注于机器学习(主要包含但不限于深度学习)相关知识分享,其中涉及自然语言处理、推荐系统以及图像处理前沿论文等,欢迎大家关注交流

您可能感兴趣

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181022G0A8RZ00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券