CMU2018春季课程:神经网络自然语言处理课程(附PPT和代码)

【导读】我们之前介绍了一系列卡耐基梅隆大学的课程,今天,我们又带来了CMU 2018春季最新的课程“Neural Networks for NLP”介绍,该课程是CMU语言技术学院和计算机学院联合开课,主要内容是教学生如何用神经网络做自然语言处理。本文中,我们梳理了该课程的主要内容:神经网络、词向量、语言模型、CNNs和RNNs在NLP中的应用等等,课程涉及几乎全部NLP问题,内容非常全面,强烈推荐给从事NLP研究的读者。

专知内容组附上上一次CMU2018和CMU2017年课程:深度学习的内容:

1. CMU2018年春季课程: 深度学习——Bhiksha Raj主讲(附PPT和video)

2. CMU2017年秋季课程:深度学习——Ruslan Salakhutdinov主讲(附PPT下载)

Neural Networks for NLP

神经网络自然语言处理课程

▌课程描述



神经网络为语言建模提供了强大的工具,并且已经被用来改善一些语言建模任务,解决过去不容易处理的新问题。 本课程(卡内基梅隆大学语言技术学院 Language Technology Institute)将首先对神经网络进行简要概述,然后花费大部分课时来演示如何将神经网络应用于自然语言问题(NLP)。 每一节课将介绍自然语言中的一个特定的问题或现象,描述其难以建模的原因,并展示若干用于解决这个问题的模型。 在学习的过程中,课程将涵盖不同的用于创建神经网络模型的技术,包括处理可变大小和结构化句子、大数据的高效处理、半监督和无监督学习、结构化预测和多语言建模。

▌课程安排



课程简介:

  • 神经网络介绍
  • 示例任务及其挑战
  • 神经网络可以干什么?

http://phontron.com/class/nn4nlp2018/schedule/class-introduction.html

一个简单的练习:预测句子中的下一个单词:

  • 计算图
  • 前馈神经网络语言模型
  • 度量模型性能:似然和困惑度(Likelihood and Perplexity)

http://phontron.com/class/nn4nlp2018/schedule/predicting-the-next-word.html

分布语义和词向量:

  • 使用相邻词来描述当前词
  • 计数和预测
  • Skip-grams和CBOW
  • 词向量的评价和可视化
  • 词向量的前沿方法

http://phontron.com/class/nn4nlp2018/schedule/word-vectors.html

卷积神经网络的文本分析:

  • BOW、Bag of n-grams、卷积
  • 卷积应用:上下文窗口和句子建模。
  • Stacked and Dilated Convolutions
  • 结构化的卷积
  • 句子对的卷积模型
  • CNNs可视化

http://phontron.com/class/nn4nlp2018/schedule/cnn.html

用循环神经网络建模句子或语言:

  • 循环网络
  • 梯度消失和LSTMs
  • 句子建模中循环的优点和缺点
  • RNNs的预训练

http://phontron.com/class/nn4nlp2018/schedule/rnn.html

提高神经网络效率的技巧:

  • Softmax的近似:负采样,分层Softmax
  • 并行训练
  • 在GPUs上训练的技巧

http://phontron.com/class/nn4nlp2018/schedule/efficiency-tricks.html

使用和评价句子的表示:

  • 句子相似度
  • 文本
  • 文本的完整性
  • 释义识别
  • 检索

http://phontron.com/class/nn4nlp2018/schedule/using-sentence-representations.html

条件生成(Conditioned Generation):

  • 编码器-解码器模型
  • 条件生成和搜索
  • Ensembling
  • 评估
  • 数据类型的条件

http://phontron.com/class/nn4nlp2018/schedule/conditioned-generation.html

注意力:

  • 注意力
  • 我们注意什么?
  • 注意力机制的改善
  • 注意力机制的变种(Specialized Attention Varieties)
  • 案例研究:“Attention is All You Need”

http://phontron.com/class/nn4nlp2018/schedule/attention.html

调试神经网络(用于NLP):

  • 问题定义
  • 调试训练时间问题
  • 调试测试时间问题

http://phontron.com/class/nn4nlp2018/schedule/debugging.html

基于搜索的结构预测:

  • 结构化感知器
  • 结构化max-margin目标
  • Simple Remedies to Exposure Bias

http://phontron.com/class/nn4nlp2018/schedule/structured-prediction.html

强化学习:

  • 什么是强化学习?
  • 梯度策略和强化学习
  • 稳定的强化学习
  • 基于价值的强化学习

http://phontron.com/class/nn4nlp2018/schedule/reinforcement-learning.html

具有局部独立假设的结构化预测:

  • 为什么用局部独立假设?
  • 条件随机场

http://phontron.com/class/nn4nlp2018/schedule/local-independence.html

基于变换的解析模型:

  • 什么是Transition-based Parsing?
  • Shift-reduce解析/前馈网络
  • 堆叠的LSTM
  • Transition-based Models for Phrase Structure
  • 一个简单的选择:线性树

http://phontron.com/class/nn4nlp2018/schedule/transition-parsing.html

使用动态规划解析:

  • 什么是基于图的解析?
  • 最小生成树的解析
  • 结构化训练以及其他改进
  • 短语结构解析的动态规划方法

http://phontron.com/class/nn4nlp2018/schedule/dp-parsing.html

神经语义解析:

  • 组合范畴文法和Lambda演算
  • 用于语义的图模型
  • 浅层语义:语义角色标记

http://phontron.com/class/nn4nlp2018/schedule/semantic-parsing.html

潜在的随机变量:

  • 生成式 vs 判别式,确定变量 vs 随机变量
  • 变分自编码器
  • 处理离散潜在变量
  • NLP中变分自编码器的例子。

http://phontron.com/class/nn4nlp2018/schedule/latent-random-variables.html

用于文本分析的对抗方法:

  • 生成对抗网络
  • 哪里可以使用对抗方法:特征 vs 输出
  • 离散输出上的GANs
  • 离散输入上的对抗方法

http://phontron.com/class/nn4nlp2018/schedule/adversarial.html

无监督和半监督结构学习:

  • 特征学习 vs 结构学习
  • 半监督学习方法
  • 无监督学习方法
  • 无监督模型的设计决策
  • 无监督学习的例子

http://phontron.com/class/nn4nlp2018/schedule/unsupervised-semisupervised.html

共指关系与演讲解析:

  • 共指关系模型
  • 话语解析

http://phontron.com/class/nn4nlp2018/schedule/discourse-models.html

对话模型:

  • 基于聊天的对话
  • 基于任务的对话

http://phontron.com/class/nn4nlp2018/schedule/dialog.html

知识图谱(Knowledge Graphs):

  • 什么是知识图/本体论?
  • 从嵌入中抽取关系
  • 从关系中学习嵌入

http://phontron.com/class/nn4nlp2018/schedule/knowledge.html

基于神经网络的机器阅读:

http://phontron.com/class/nn4nlp2018/schedule/machine-reading.html

高级搜索算法:

  • 定向搜索
  • A*Search
  • Search w/ Future Costs

http://phontron.com/class/nn4nlp2018/schedule/search.html

多任务多语种学习模型:

  • 什么是多任务学习?
  • 多任务学习方法
  • NLP的多任务目标

http://phontron.com/class/nn4nlp2018/schedule/multilingual.html

课程代码:

https://github.com/neubig/nn4nlp-code

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“CMUNLP2018” 就可以获取 课程已有PPT下载链接~

▌第一次课PPT详细内容



原文链接:

http://phontron.com/class/nn4nlp2018/index.html

课程代码:

https://github.com/neubig/nn4nlp-code

请关注专知公众号

  • 后台回复“CMUNLP2018” 就可以获取 课程已有PPT下载链接

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-02-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏iOSDevLog

ML任务

11220
来自专栏机器之心

教程 | 用数据做酷的事!手把手教你搭建问答系统

选自TowardsDataScience 作者:Priya Dwivedi 机器之心编译 参与:Pedro、路 本文介绍了如何基于 SQuAD 数据集搭建问答系...

29870
来自专栏大数据挖掘DT机器学习

GBDT迭代决策树入门教程

GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree)...

82750
来自专栏利炳根的专栏

学习笔记DL002:AI、机器学习、表示学习、深度学习,第一次大衰退

最近识别对象、语音任务达到人类平均水平。日常生活需要世界巨量知识,主观、直观,很难形式化表达。计算机智能需要获取同样知识。关键挑战,非形式化知识传给计算机。

64800
来自专栏AI科技大本营的专栏

从Word Embedding到Bert模型——自然语言处理预训练技术发展史

作者简介:张俊林,中国中文信息学会理事,目前在新浪微博 AI Lab 担任资深算法专家。在此之前,张俊林曾经在阿里巴巴任资深技术专家,以及在百度和用友担任技术经...

15820
来自专栏新智元

深度学习下一个大突破:机器阅读

【新智元导读】本文作者邓侃认为,机器阅读其实就是自然文本的结构化,而文本摘要和机器翻译在2016年的进展,昭示了机器阅读即将取得的突破。 机器阅读将是深度学习的...

39790
来自专栏企鹅号快讯

机器学习算法原理系列详解-机器学习基础与实践(一)-数据清洗

作者:Charlotte77 数学系的数据挖掘民工 博客专栏:http://www.cnblogs.com/charlotte77/ 个人公众号:Charlo...

28260
来自专栏黄成甲

数据分析之时间序列分析

顾名思义,时间序列就是按照时间顺利排列的一组数据序列。时间序列分析就是发现这组数据的变动规律并用于预测的统计技术。该技术有以下三个基本特点:

19420
来自专栏人工智能

用于神经网络机器翻译的全并行文本生成

Salesforce 正宣布一个能够克服这个限制的神经网络机器翻译系统,以完全并行的方式一次翻译整个句子。

52800
来自专栏专知

用于神经网络机器翻译的全并行文本生成

在过去的几年里,神经网络为文本分类和问题回答等自然语言任务的准确性和质量带来了快速的提高。深度学习导致的令人印象深刻的结果的一个领域是需要机器生成自然语言文本的...

30950

扫码关注云+社区

领取腾讯云代金券