专栏首页新智元【Manning主讲】斯坦福CS224n深度学习与NLP课程全部视频、PPT

【Manning主讲】斯坦福CS224n深度学习与NLP课程全部视频、PPT

【新智元导读】斯坦福大学CS224n(全称:深度学习与自然语言处理)是自然语言处理领域很受欢迎的课程,由 Chris Manning 和 Richard Socher 主讲。本课程所有教学视频和课程材料同样在网上开放可得,新智元带来每课内容简介。

全部课程视频(英文字幕):http://t.cn/R6RGxtR

所有课程资料、PPT等:http://web.stanford.edu/class/cs224n/

课程描述

讲师和助教团队

自然语言处理(NLP)是信息时代最重要的技术之一,理解复杂的人类话语也是人工智能的重要任务。NLP的应用无处不在,因为人们的日常生活大部分都需要语言交流,例如网页搜索、广告、电子邮件、客户服务、语言翻译,电台广播等。为NLP的应用赋能的有大量广泛的底层任务和机器学习模型。最近,深度学习的方法在许多NLP任务中获得了非常好的性能。这些模型通常可以通过单个端到端的模型进行训练,并且不需要传统的任务特定的特征工程。

在今年春季的NLP课程中,我们将学习实现,训练,调试,可视化和创建自己的神经网络模型。这门课程为深入学习NLP应用的前沿研究提供了深入的探索。课程最后的项目将涉及训练复杂的循环神经网络并将其应用于大型NLP问题。在模型方面,我们将涵盖词向量表示,基于窗口的神经网络,循环神经网络,长短期记忆模型,递归神经网络,卷积神经网络以及一些涉及 memory component 的非常新的模型。通过讲座和编程任务,学生将学会令神经网络在实际问题上工作的必要工程技巧。

先修要求

  • 熟悉 Python 编程语言
  • 大学微积分,线性代数(例如MATH 19或41,MATH 51)
  • 基本概率和统计知识(例如 CS109 或其他统计课程)
  • CS229(机器学习)的同等知识

推荐掌握

  • 自然语言处理的相关知识(CS224N 或 CS224U)
  • 凸优化
  • 卷积神经网络知识(CS231n)

内容简介

第1讲:自然语言处理与深度学习

第1讲介绍了自然语言处理(NLP)的概念和当前的NLP研究面临的问题,然后介绍将词表示为数字向量的概念,以及设计词向量的流行方法。

关键词:自然语言处理、词向量、奇异值分解、skip-gram模型、 连续词袋模型(Continuous Bag-Of-Words,CBOW)、负采样、 Hierarchical Softmax、Word2Vec

第2讲:词向量表示:word2vec

第2讲继续讨论词向量的概念,以及流行的设计词向量的方法。

第3讲 | GloVe:用于词汇表示的全局向量

第3讲介绍了用于训练词向量的 GloVe 模型。本讲接着通过观察如何评估词向量(又称词嵌入)来拓展对它的理解。作为评估技术的一种,接着我们讨论了词的类比问题(word analogies),以及如何利用类比来调整词嵌入。然后我们讨论了训练模型的权重/参数,以及外部任务的词向量。最后,我们鼓励用人工神经网络作为自然语言处理任务的一类模型。

关键词:GloVe、内部和外部评估、超参数对类比评估任务的影响、人类判断与词向量距离的相关性、使用上下文处理歧义、窗口分类

第4讲:词窗口分类和神经网络

第4讲介绍了单层和多层神经网络,以及如何它们进行分类任务。

关键词:神经网络、前向计算、反向传播、神经元单元、最大边界损失、梯度检查、Xavier参数初始化、学习率、Adagrad

第5讲:反向传播与项目建议

第5讲讨论了如何使用反向传播这一分布式梯度下降技术来训练神经网络。

第6讲:依存分析

第6讲讨论依存分析,这是给定一个输入句子S,分析其句法依存结构的任务。依存分析器的输出是一个依存关系树,其中输入句子的词汇与依存关系类型相关联。

关键词:依存分析

第7讲:TensorFlow简介

第7讲介绍了TensorFlow。TensorFlow是一个开源软件库,用于使用数据流图(data flow graphs)进行数值计算。它最初由谷歌大脑团队开发,用于进行机器学习和深度神经网络研究。

关键词:TensorFlow

第8讲:循环神经网络和语言模型

第8讲介绍传统语言模型、RNN,以及RNN语言模型。本讲还回顾了一些重要的训练问题和技巧,用于其他序列任务的RNN,以及双向RNN(bidirectional RNNs)和deep RNNs。

第9讲:机器翻译、LSTM和GRU

第9讲回顾了前部分课程的重要概念,机器翻译的概念,以及用RNN模型处理机器翻译。

关键词:语言模型、RNN、双向RNN、deep RNN、GRU、LSTM

第10讲:神经机器翻译和注意力模型

第10讲介绍了翻译、机器翻译和神经机器翻译,重点介绍谷歌的新 NMT模型,以及基于注意力的序列模型和序列模型解码器。

第11讲:门控循环单元和NMT

第11讲介绍了GRAT / LSTM之类的门控循环单元,然后介绍机器翻译的评估,处理大量词汇输出,以及 sub-word 模型和 character-based 模型。

关键词:Seq2Seq、注意力机制、神经机器翻译,语音处理

第12讲:语音处理的端到端模型

第12讲介绍传统语音识别系统和端到端模型,包括CTC模型( Connectionist Temporal Classification)和LAS(Listen Attend and Spell),这是一种用于语音识别的序列到序列模型。

第13讲:卷积神经网络

第13讲提供了Azure和GPU的一个小教程,然后介绍“Character-Aware Neural Language Models”。本讲还提到CNN的一些变体,以及比较了 BoV、RNN、CNN这些句子模型。

第14讲:树递归神经网络和parsing分析

第14讲介绍了语义合成性(compositionality)和结构预测,利用一个简单的树RNN:parsing。重点介绍“对话生成的深度强化学习”。

关键词:RNN、递归神经网络、MV-RNN、RNTN

第15讲:指代消解(Coreference Resolution)

第15讲通过一个实例来介绍什么是指代(coreference),涉及的研究是“Summarizing Source Code”,这一研究介绍了指代消解和神经网络指代消解。

第16讲:用于问题回答的动态神经网络

第16讲介绍了“是否所有NLP任务都可以被视为问答问题”这一问题。

关键词:指代消解、动态神经网络

第17讲:NLP中的重要问题和NLP的架构

第17讲介绍了高效树递归模型SPINN和SNLI,重点介绍“Learning to compose neural networks for QA”这一研究。

第18讲:NLP中深度学习的局限性

第18讲讨论了NLP中深度学习的局限,提供了一些presentations。

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-08-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 南方周末:超越人类的终极人工智能算法将会来临?

    【新智元导读】从尼采说上帝死了,到现在尤瓦尔·赫拉利重新把AI推到技术上帝的位置,不过一百多年时间。人类自己充当上帝角色,即使从达尔文出版《进化论》开始算,不到...

    新智元
  • 图灵奖得主Yann LeCun发推道歉!Google AI黑人女科学家批其种族歧视,网友喊冤

    而同时在美国如火如荼进行的,还有BLM运动。这场运动已经从民间上升到了政界,渗透进商业界,如今已经深入到了AI界。

    新智元
  • 【深度学习创作】用《权力的游戏》前五部训练RNN生成第六部(原理解析)

    【新智元导读】 近日,一位名叫Zack Thoutt的工程师在开源社区Github上发起了这样一个项目:基于《冰与火之歌》前面五部作品,训练RNN(循环神经网络...

    新智元
  • VIVE FOCUS双十二开启预售,性能强悍但价格略贵

    VRPinea
  • TensorFlow系列专题(七):一文综述RNN循环神经网络

    前馈神经网络不考虑数据之间的关联性,网络的输出只和当前时刻网络的输入相关。然而在解决很多实际问题的时候我们发现,现实问题中存在着很多序列型的数据,例如文本、语音...

    磐创AI
  • 资源 | 初学者指南:神经网络在自然语言处理中的应用

    选自machine learning mastery 机器之心编译 参与:刘晓坤、蒋思源 深度学习正在给自然语言处理带来巨大的变革。但是,作为一个初学者,要从哪...

    机器之心
  • python的拉链(zip)

    我们把list当做列向量来看就很好理解了,zip就是拉链,把一件挂着的衣服拉起来。这就是zip的功能。所以

    钱塘小甲子
  • 【深度学习RNN/LSTM中文讲义】循环神经网络详解,复旦邱锡鹏老师《神经网络与深度学习》报告分享03(附pdf下载)

    【导读】复旦大学副教授、博士生导师、开源自然语言处理工具FudanNLP的主要开发者邱锡鹏(http://nlp.fudan.edu.cn/xpqiu/)老师撰...

    WZEARW
  • 0657-6.2.0-Sqoop导入Parquet文件Hive查询为null问题

    3.使用Sqoop从MySQL导入数据到HDFS,要导入的目录是Hive中新建表的数据目录

    Fayson
  • 关于认知和自信

    “问渠那得清如许,为有源头活水来”。为什么水塘里的水可以那么清澈,因为有源头活水不断的涌入进来。

    特立独行的猫a

扫码关注云+社区

领取腾讯云代金券