CMU2018春季课程：神经网络自然语言处理课程（附PPT和代码）

【导读】我们之前介绍了一系列卡耐基梅隆大学的课程，今天，我们又带来了CMU 2018春季最新的课程“Neural Networks for NLP”介绍，该课程是CMU语言技术学院和计算机学院联合开课，主要内容是教学生如何用神经网络做自然语言处理。本文中，我们梳理了该课程的主要内容：神经网络、词向量、语言模型、CNNs和RNNs在NLP中的应用等等，课程涉及几乎全部NLP问题，内容非常全面，强烈推荐给从事NLP研究的读者。

专知内容组附上上一次CMU2018和CMU2017年课程：深度学习的内容：

1. CMU2018年春季课程： 深度学习——Bhiksha Raj主讲（附PPT和video）

2. CMU2017年秋季课程：深度学习——Ruslan Salakhutdinov主讲（附PPT下载）

Neural Networks for NLP

神经网络自然语言处理课程

▌课程描述

神经网络为语言建模提供了强大的工具，并且已经被用来改善一些语言建模任务，解决过去不容易处理的新问题。 本课程（卡内基梅隆大学语言技术学院 Language Technology Institute）将首先对神经网络进行简要概述，然后花费大部分课时来演示如何将神经网络应用于自然语言问题（NLP）。 每一节课将介绍自然语言中的一个特定的问题或现象，描述其难以建模的原因，并展示若干用于解决这个问题的模型。 在学习的过程中，课程将涵盖不同的用于创建神经网络模型的技术，包括处理可变大小和结构化句子、大数据的高效处理、半监督和无监督学习、结构化预测和多语言建模。

▌课程安排

课程简介：

• 神经网络介绍
• 示例任务及其挑战
• 神经网络可以干什么？

http://phontron.com/class/nn4nlp2018/schedule/class-introduction.html

一个简单的练习：预测句子中的下一个单词：

• 计算图
• 前馈神经网络语言模型
• 度量模型性能：似然和困惑度（Likelihood and Perplexity）

http://phontron.com/class/nn4nlp2018/schedule/predicting-the-next-word.html

分布语义和词向量：

• 使用相邻词来描述当前词
• 计数和预测
• Skip-grams和CBOW
• 词向量的评价和可视化
• 词向量的前沿方法

http://phontron.com/class/nn4nlp2018/schedule/word-vectors.html

卷积神经网络的文本分析：

• BOW、Bag of n-grams、卷积
• 卷积应用：上下文窗口和句子建模。
• Stacked and Dilated Convolutions
• 结构化的卷积
• 句子对的卷积模型
• CNNs可视化

http://phontron.com/class/nn4nlp2018/schedule/cnn.html

用循环神经网络建模句子或语言：

• 循环网络
• 梯度消失和LSTMs
• 句子建模中循环的优点和缺点
• RNNs的预训练

http://phontron.com/class/nn4nlp2018/schedule/rnn.html

提高神经网络效率的技巧：

• Softmax的近似：负采样，分层Softmax
• 并行训练
• 在GPUs上训练的技巧

http://phontron.com/class/nn4nlp2018/schedule/efficiency-tricks.html

使用和评价句子的表示：

• 句子相似度
• 文本
• 文本的完整性
• 释义识别
• 检索

http://phontron.com/class/nn4nlp2018/schedule/using-sentence-representations.html

条件生成（Conditioned Generation）：

• 编码器-解码器模型
• 条件生成和搜索
• Ensembling
• 评估
• 数据类型的条件

http://phontron.com/class/nn4nlp2018/schedule/conditioned-generation.html

注意力：

• 注意力
• 我们注意什么？
• 注意力机制的改善
• 注意力机制的变种（Specialized Attention Varieties）
• 案例研究：“Attention is All You Need”

http://phontron.com/class/nn4nlp2018/schedule/attention.html

调试神经网络（用于NLP）：

• 问题定义
• 调试训练时间问题
• 调试测试时间问题

http://phontron.com/class/nn4nlp2018/schedule/debugging.html

基于搜索的结构预测：

• 结构化感知器
• 结构化max-margin目标
• Simple Remedies to Exposure Bias

http://phontron.com/class/nn4nlp2018/schedule/structured-prediction.html

强化学习：

• 什么是强化学习？
• 梯度策略和强化学习
• 稳定的强化学习
• 基于价值的强化学习

http://phontron.com/class/nn4nlp2018/schedule/reinforcement-learning.html

具有局部独立假设的结构化预测：

• 为什么用局部独立假设？
• 条件随机场

http://phontron.com/class/nn4nlp2018/schedule/local-independence.html

基于变换的解析模型：

• 什么是Transition-based Parsing？
• Shift-reduce解析/前馈网络
• 堆叠的LSTM
• Transition-based Models for Phrase Structure
• 一个简单的选择：线性树

http://phontron.com/class/nn4nlp2018/schedule/transition-parsing.html

使用动态规划解析：

• 什么是基于图的解析？
• 最小生成树的解析
• 结构化训练以及其他改进
• 短语结构解析的动态规划方法

http://phontron.com/class/nn4nlp2018/schedule/dp-parsing.html

神经语义解析：

• 组合范畴文法和Lambda演算
• 用于语义的图模型
• 浅层语义：语义角色标记

http://phontron.com/class/nn4nlp2018/schedule/semantic-parsing.html

潜在的随机变量：

• 生成式 vs 判别式，确定变量 vs 随机变量
• 变分自编码器
• 处理离散潜在变量
• NLP中变分自编码器的例子。

http://phontron.com/class/nn4nlp2018/schedule/latent-random-variables.html

用于文本分析的对抗方法：

• 生成对抗网络
• 哪里可以使用对抗方法：特征 vs 输出
• 离散输出上的GANs
• 离散输入上的对抗方法

http://phontron.com/class/nn4nlp2018/schedule/adversarial.html

无监督和半监督结构学习：

• 特征学习 vs 结构学习
• 半监督学习方法
• 无监督学习方法
• 无监督模型的设计决策
• 无监督学习的例子

http://phontron.com/class/nn4nlp2018/schedule/unsupervised-semisupervised.html

共指关系与演讲解析：

• 共指关系模型
• 话语解析

http://phontron.com/class/nn4nlp2018/schedule/discourse-models.html

对话模型：

• 基于聊天的对话
• 基于任务的对话

http://phontron.com/class/nn4nlp2018/schedule/dialog.html

知识图谱（Knowledge Graphs）：

• 什么是知识图/本体论？
• 从嵌入中抽取关系
• 从关系中学习嵌入

http://phontron.com/class/nn4nlp2018/schedule/knowledge.html

基于神经网络的机器阅读：

http://phontron.com/class/nn4nlp2018/schedule/machine-reading.html

高级搜索算法：

• 定向搜索
• A*Search
• Search w/ Future Costs

http://phontron.com/class/nn4nlp2018/schedule/search.html

多任务多语种学习模型：

• 什么是多任务学习？
• 多任务学习方法
• NLP的多任务目标

http://phontron.com/class/nn4nlp2018/schedule/multilingual.html

课程代码：

https://github.com/neubig/nn4nlp-code

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），

• 后台回复“CMUNLP2018” 就可以获取 课程已有PPT下载链接~

▌第一次课PPT详细内容

原文链接：

http://phontron.com/class/nn4nlp2018/index.html

课程代码：

https://github.com/neubig/nn4nlp-code

请关注专知公众号

• 后台回复“CMUNLP2018” 就可以获取 课程已有PPT下载链接