CS224n 更新 | 第十一讲 - GRU 及 NMT 的其他议题

深度自然语言处理课 CS224n(2016-2017)为斯坦福官方开源最新版本,由斯坦福大学教授、 Salesforce 首席科学家 Richard Socher 授权雷锋字幕组翻译。

每周三,同步更新在 AI 研习社、AI 慕课学院。

第十一讲

GRU 及 NMT 的其他议题

上手视频约 8 分钟

视频内容

翻译 | 徐普、李晶

校对 | 霍雷刚、刘晓东

字幕 | 凡江

课程直达

扫下方二维码

免费无限次观看 CS224n 中英字幕版

中文版 CS224d 课程介绍

自然语言处理(NLP)是信息时代最重要的技术之一。理解复杂的语言话语也是人工智能的重要组成部分。 NLP 的应用无处不在,因为人与人之间大部分的沟通都需要语言:网络搜索,广告,电子邮件,客户服务,语言翻译,放射报告等。

NLP 应用程序背后有大量的基础任务和机器学习模型。最近,深度学习方法通过不同的 NLP 任务实现了超高性能。这些模型通常可以通过单一的端到端模型进行训练,而不需要传统的、特定任务特征的工程。

CS224d ( 2016-2017 ) 中英字幕版

在这个冬季课程中,学生将学习执行、训练、调试、可视化和创造他们自己的神经网络模型。该课程全面介绍了应用于NLP的深度学习尖端研究。在模型方面,介绍词向量表示、基于窗口的神经网络、时间递归神经网络、长期短期记忆模型、结构递归神经网络、卷积神经网络以及一些涉及存储器组件的最新模型。

学生通过讲座和编程作业,可以掌握用神经网络解决实际问题的必备技巧。

领衔主讲人是 Christopher Manning、Richard Socher

2016-2017 年版 CS224d 课程讲座,由斯坦福大学教授 Christopher Manning、Richard Socher 领衔主讲。

Christopher Manning 是斯坦福大学计算机科学和语言学系机器学习领域的首席教授。Manning 是将深度学习运用于自然语言处理的先驱,他希望能够创造出能够智能处理、理解、生成人类语言材料的计算机。同时,Manning 还是国际计算机学会( ACM )、国际人工智协会( AAAI )、国际计算语言学会(ACL)等国际权威学术组织的会士,曾获 ACL、 EMNLP 、 COLING 、CHI 等国际顶会最佳论文奖。

领衔主讲人 Christopher Manning

Richard Socher 是 Salesforce 的首席科学家,也是斯坦福大学计算机科学系的兼职教授。2016年曾担任被 Salesforce 收购的 MetaMind 的创始人兼首席执行官兼首席技术官。

主讲人 Richard Socher

CS224d ( 2016-2017 ) 原版授课团队

学习 CS224d 的必备知识

  • 熟练掌握 Python

所有课堂作业将在 Python 中(使用 Numpy 和 Tensorflow)。这里有一个教程,用于那些不熟悉 Python 的人。如果你有很多编程经验,但使用不同的语言(例如 C / C ++ / Matlab / Javascript ),可能会更好。

  • 大学微积分、线性代数

你应该会求导数,也了解矩阵向量运算与符号。

  • 基本概率和统计

你应该知道概率、高斯分布、均值、标准差等基本知识。

  • 机器学习基础

我们会用梯度下降制定成本函数、求导数及执行优化。CS221 或 CS229 都会涵盖这些内容。掌握一些凸优化知识,优化技巧将会更直观。

课程大纲

第一讲 - NLP和深度学习入门

第二讲 - 词向量表示: word2vec

第三讲 - 高级词向量表示

第四讲 - Word Window 分类与神经网络

第五讲 - 反向传播和项目建议

第六讲 - 依存分析

第七讲 - TensorFlow入门

第八讲 - RNN和语言模式

第九讲 - 机器翻译和高级循环神经网络 LSTMs 和 GRUs

第十讲 - 神经机器翻译和注意力模型

第十一讲 - GRU 及 NMT 的其他议题

第十二讲 - 语音处理的端对端模型

第十三讲 - 卷积神经网络

第十四讲 - 树 RNN 和短语句法分析

第十五讲 - 共指解析

第十六讲 - 用于回答问题的动态神经网络

第十七讲 - NLP 的问题和可能性架构

第十八讲 - 应对深度 NLP 的局限性

课后作业

  • 作业1:在这个任务中,我们将熟悉神经网络,词向量及其在情绪分析中的应用的基本概念。
  • 作业2:在本作业中,您将学习 TensorFlow 的基础知识,使用 TensorFlow 为基于转换的依赖性分析实现前馈神经网络,并通过计算递归神经网络语言模型的渐变深入研究反向传播。
  • 作业3:在本作业中,您将学习关于命名实体识别和实现基线窗口模型以及循环神经网络模型。该任务还涵盖门控周期性单位,将其应用于简单的一维序列和命名实体识别。
  • 作业4:自己动手一个终极项目。

值得注意的是,CS224d 中英字幕课程也会放出课后作业和项目练习。

CS224d ( 2016-2017 ) 作业概览

同时,为了提高用户的学习效果,在持续几个月的课程期间,雷锋字幕组联合 AI 慕课学院将安排 NLP 领域专家直播为学员答疑解惑。

CS224d ( 2016-2017 ) 作业概览

感兴趣且有梯子的小伙伴可以戳这里:

http://web.stanford.edu/class/cs224n/archive/WWW_1617/index.html

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2018-07-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

资源 | 全机器学习和Python的27个速查表(完整版)

16840
来自专栏大数据挖掘DT机器学习

如何利用数据做排行榜?

8月15日上海交通大学世界一流大学研究中心发布2015年“世界大学学术排名”。今年,哈佛大学蝉联榜首,剑桥大学排名第2,第3-5名依次是牛津大学、麻省理工学...

38040
来自专栏人工智能

什么时候强化学习未必好用?

作者 Jason Xie 编译 Erica Yi 编辑 Emily 强化学习(reinforcement learning)描述的是个体(agent)必须...

26680
来自专栏新智元

邓侃解读:深度学习病历分析前沿进展

最常见的用于电子病历(EHR)分析的深度学习架构 【新智元导读】邓侃博士又一力作,看深度学习如何让电子病历分析取得突破:Word2Vec、AutoEncoder...

421100
来自专栏AI科技大本营的专栏

洪小文:以科学的方式赤裸裸地剖析AI(二)|从寒冬到复兴

近两年来,人工智能掀起的全民热潮可谓前所未有,几乎每行每业都在积极向机器学习、大数据、深度神经网络等这些“网红”技术靠拢。然而,在人工智能遍地生花的今天,更加令...

39360
来自专栏AI研习社

CS224n 更新 | 第十二讲 - 语音处理的端对端模型

自然语言处理(NLP)是信息时代最重要的技术之一。理解复杂的语言话语也是人工智能的重要组成部分。 NLP 的应用无处不在,因为人与人之间大部分的沟通都需要语言:...

12220
来自专栏MixLab科技+设计实验室

用word2vec解读延禧攻略人物关系

本文结合最近热播的电视剧《延禧攻略》,对其人物的关系在数据上进行解读。通过从网上收集相关的小说、剧本、人物介绍等,经过word2vec深度学习模型的训练,构建人...

46040
来自专栏CDA数据分析师

数据挖掘中最易犯的10个错误,请绕行!

按照 Elder 博士的总结,这 10 大易犯错误包括: 0、缺乏数据( Lack Data ) 1. 太关注训练( Focus on Training ) 2...

19990
来自专栏大数据挖掘DT机器学习

如何利用数据做排行榜?

8月15日上海交通大学世界一流大学研究中心发布2015年“世界大学学术排名”。今年,哈佛大学蝉联榜首,剑桥大学排名第2,第3-5名依次是牛津大学、...

43070
来自专栏企鹅号快讯

数据挖掘中最易栽的十个大坑

欢迎关注数据超市微信公众号 按照 Elder 博士的总结,这 10 大易犯错误包括: 1. 太关注训练( Focus on Training ) 2. 只依赖一...

297120

扫码关注云+社区

领取腾讯云代金券