14周硕士级学习，德克萨斯大学奥斯汀分校简明NLP课程视频全公开

机器之心报道

编辑：杜伟

小伙伴们，来学习吧。

近日，德克萨斯大学奥斯汀分校（UT Austin）的 CS388《自然语言处理》简明课程放出了全部视频，一共有 98 个视频。

视频地址：https://www.youtube.com/playlist?list=PLofp2YXfp7TZZ5c7HEChs0_wfEfewLDs7

这是一系列线上硕士课程，涵盖机器学习和 NLP 基础知识、模型（BERT、BART、T5、GPT-3 等）以及指令调优、思维链、语言与视觉等大型语言模型（LLM）相关的热点主题。

该系列课程分为以下 14 周来学习，我们一一来看。

第一周：课程简介和线性分类。具体内容包括线性二元分类、情感分析与基本特征提取、学习基础与梯度下降、感知机、逻辑回归、情感分析、优化基础等。

第二周：多类与神经分类。具体内容包括多类分类、多类感知机与逻辑回归、多类分类示例、分类公平性、神经网络及可视化、前馈神经网络与反向传播、神经网络实现、神经网络训练与优化。

第三周：词嵌入。具体内容包括跳幅、词嵌入方法、词嵌入偏差、应用嵌入与深度平均网络。

第四周：语言建模与自注意力。具体内容包括 N-Gram 语言建模及平滑、语言建模评估、自然语言模型、循环神经网络（RNN）及缺陷、注意力与自注意力、多头自注意力、位置编码。

第五周：Transformer 与解码。具体内容包括 Transformer 架构、Transformer 语言建模、Transformer 扩展、束搜索。

第六周：预训练与序列到序列（seq2seq）语言建模。具体内容包括 BERT 掩码语言建模、BERT 模型与应用、seq2seq 模型、BART、T5、词块与字节对编码。

第七 - 八周：结构化预测：词性与句法分析。具体内容包括词性标注、序列标注以及利用分类器标注、隐马尔可夫模型（HMM）、HMM 参数估计与维特比算法、词性标注 HMM、成分句法分析、随机上下文无关文法、CKY 算法、精炼语法、依赖以及基于转换的依存句法分析。

第九周：现代大型语言模型（LLM）。具体内容包括 GPT-3、零样本提示、少样本提示、上下文内学习（ICL）与感应头（induction head）、指令调优、基于人类反馈的强化学习（RLHF）、LLM 的事实性。

第十周：解释。具体内容包括 NLP 可解释性、局部解释、模型探针、文本解释、思维链（CoT）及扩展与分析。

第十一周：问答与对话系统。具体内容包括阅读理解入门、设置与基线、开放域问答、多跳问答、对话与聊天机器人、任务导向型对话、神经聊天机器人。

第十二周：机器翻译与摘要。具体内容包括机器翻译入门、框架与评估、词对齐与 IBM 模型、基于短语的机器翻译、神经机器翻译与预训练机器翻译、摘要入门、抽取式摘要、预训练摘要及事实性。

第十三 - 十四周：多语言、语言基础与道德问题。具体内容包括跨语言标注与解析、跨语言预训练、语言与视觉、道德偏差、自动标注的风险、不道德使用与前进的道路。

最后介绍一下课程主讲人 Greg Durrett，他是 UT Austin 计算机科学助理教授。

他的研究主要集中在 NLP 领域，其团队致力于改进获取和推理文本知识的技术。最近 GPT-4 等大型语言模型（LLM）极大推进了前沿研究，因此团队观察这些 AI 系统成功与失败的地方，以及如何进一步增强它们的能力，特别是通过构建那些将 LLM 用作原语的模块化 NLP 系统。

个人主页：https://www.cs.utexas.edu/~gdurrett/

课程主页：https://www.cs.utexas.edu/~gdurrett/courses/online-course/materials.html