CMU2018春季课程:神经网络自然语言处理课程

【导读】我们之前介绍了一系列卡耐基梅隆大学的课程,今天,我们又带来了CMU2018春季最新的课程“Neural Networks for NLP”介绍,该课程是CMU语言技术学院和计算机学院联合开课,主要内容是教学生如何用神经网络做自然语言处理。本文中,我们梳理了该课程的主要内容:神经网络、词向量、语言模型、CNNs和RNNs在NLP中的应用等等,课程涉及几乎全部NLP问题,内容非常全面,强烈推荐给从事NLP研究的读者。

专知内容组附上上一次CMU2018和CMU2017年课程:深度学习的内容:

NeuralNetworks for NLP

神经网络自然语言处理课程

▌课程描述

神经网络为语言建模提供了强大的工具,并且已经被用来改善一些语言建模任务,解决过去不容易处理的新问题。 本课程(卡内基梅隆大学语言技术学院 Language Technology Institute)将首先对神经网络进行简要概述,然后花费大部分课时来演示如何将神经网络应用于自然语言问题(NLP)。 每一节课将介绍自然语言中的一个特定的问题或现象,描述其难以建模的原因,并展示若干用于解决这个问题的模型。 在学习的过程中,课程将涵盖不同的用于创建神经网络模型的技术,包括处理可变大小和结构化句子、大数据的高效处理、半监督和无监督学习、结构化预测和多语言建模。

▌课程安排

课程简介:

神经网络介绍

示例任务及其挑战

神经网络可以干什么?

http://phontron.com/class/nn4nlp2018/schedule/class-introduction.html

一个简单的练习:预测句子中的下一个单词:

计算图

前馈神经网络语言模型

度量模型性能:似然和困惑度(Likelihood and Perplexity)

http://phontron.com/class/nn4nlp2018/schedule/predicting-the-next-word.html

分布语义和词向量:

使用相邻词来描述当前词

计数和预测

Skip-grams和CBOW

词向量的评价和可视化

词向量的前沿方法

http://phontron.com/class/nn4nlp2018/schedule/word-vectors.html

卷积神经网络的文本分析:

BOW、Bag of n-grams、卷积

卷积应用:上下文窗口和句子建模。

Stacked and Dilated Convolutions

结构化的卷积

句子对的卷积模型

CNNs可视化

http://phontron.com/class/nn4nlp2018/schedule/cnn.html

用循环神经网络建模句子或语言:

循环网络

梯度消失和LSTMs

句子建模中循环的优点和缺点

RNNs的预训练

http://phontron.com/class/nn4nlp2018/schedule/rnn.html

提高神经网络效率的技巧:

Softmax的近似:负采样,分层Softmax

并行训练

在GPUs上训练的技巧

http://phontron.com/class/nn4nlp2018/schedule/efficiency-tricks.html

使用和评价句子的表示:

句子相似度

文本

文本的完整性

释义识别

检索

http://phontron.com/class/nn4nlp2018/schedule/using-sentence-representations.html

条件生成(Conditioned Generation):

编码器-解码器模型

条件生成和搜索

Ensembling

评估

数据类型的条件

http://phontron.com/class/nn4nlp2018/schedule/conditioned-generation.html

注意力:

注意力

我们注意什么?

注意力机制的改善

注意力机制的变种(Specialized Attention Varieties)

案例研究:“Attention is All You Need”

http://phontron.com/class/nn4nlp2018/schedule/attention.html

调试神经网络(用于NLP):

问题定义

调试训练时间问题

调试测试时间问题

http://phontron.com/class/nn4nlp2018/schedule/debugging.html

基于搜索的结构预测:

结构化感知器

结构化max-margin目标

Simple Remedies to Exposure Bias

http://phontron.com/class/nn4nlp2018/schedule/structured-prediction.html

强化学习:

什么是强化学习?

梯度策略和强化学习

稳定的强化学习

基于价值的强化学习

http://phontron.com/class/nn4nlp2018/schedule/reinforcement-learning.html

具有局部独立假设的结构化预测:

为什么用局部独立假设?

条件随机场

http://phontron.com/class/nn4nlp2018/schedule/local-independence.html

基于变换的解析模型:

什么是Transition-based Parsing?

Shift-reduce解析/前馈网络

堆叠的LSTM

Transition-based Models for Phrase Structure

一个简单的选择:线性树

http://phontron.com/class/nn4nlp2018/schedule/transition-parsing.html

使用动态规划解析:

什么是基于图的解析?

最小生成树的解析

结构化训练以及其他改进

短语结构解析的动态规划方法

http://phontron.com/class/nn4nlp2018/schedule/dp-parsing.html

神经语义解析:

组合范畴文法和Lambda演算

用于语义的图模型

浅层语义:语义角色标记

http://phontron.com/class/nn4nlp2018/schedule/semantic-parsing.html

潜在的随机变量:

生成式 vs 判别式,确定变量 vs 随机变量

变分自编码器

处理离散潜在变量

NLP中变分自编码器的例子。

http://phontron.com/class/nn4nlp2018/schedule/latent-random-variables.html

用于文本分析的对抗方法:

生成对抗网络

哪里可以使用对抗方法:特征 vs 输出

离散输出上的GANs

离散输入上的对抗方法

http://phontron.com/class/nn4nlp2018/schedule/adversarial.html

无监督和半监督结构学习:

特征学习 vs 结构学习

半监督学习方法

无监督学习方法

无监督模型的设计决策

无监督学习的例子

http://phontron.com/class/nn4nlp2018/schedule/unsupervised-semisupervised.html

共指关系与演讲解析:

共指关系模型

话语解析

http://phontron.com/class/nn4nlp2018/schedule/discourse-models.html

对话模型:

基于聊天的对话

基于任务的对话

http://phontron.com/class/nn4nlp2018/schedule/dialog.html

知识图谱(Knowledge Graphs):

什么是知识图/本体论?

从嵌入中抽取关系

从关系中学习嵌入

http://phontron.com/class/nn4nlp2018/schedule/knowledge.html

基于神经网络的机器阅读:

http://phontron.com/class/nn4nlp2018/schedule/machine-reading.html

高级搜索算法:

定向搜索

A*Search

Search w/ Future Costs

http://phontron.com/class/nn4nlp2018/schedule/search.html

多任务多语种学习模型:

什么是多任务学习?

多任务学习方法

NLP的多任务目标

http://phontron.com/class/nn4nlp2018/schedule/multilingual.html

课程代码:

https://github.com/neubig/nn4nlp-code

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180203G01E9900?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励