春节充电系列：李宏毅2017机器学习课程学习笔记29之循环神经网络 Recurrent Neural Network Part3

【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的Recurrent Neural Network进阶知识。这一节将主要针对讨论Recurrent Neural Network的剩下内容进一步讨论。本文内容主要针对机器学习中Recurrent Neural Network的attention-based model、RNN vs Structured learning以及GAN vs Structured learning进行详细介绍，话不多说，让我们一起学习这些内容吧

春节充电系列：李宏毅2017机器学习课程学习笔记23之结构化学习-Structured SVM（part 1）

春节充电系列：李宏毅2017机器学习课程学习笔记24之结构化学习-Structured SVM（part 2）

春节充电系列：李宏毅2017机器学习课程学习笔记25之结构化学习-序列标注 Sequence Labeling（part 1）

春节充电系列：李宏毅2017机器学习课程学习笔记26之结构化学习-序列标注 Sequence Labeling（part 2）

春节充电系列：李宏毅2017机器学习课程学习笔记27之循环神经网络 Recurrent Neural Network

春节充电系列：李宏毅2017机器学习课程学习笔记28之循环神经网络 Recurrent Neural Network Part2

课件网址：

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

视频网址：

https://www.bilibili.com/video/av15889450/index_1.html

李宏毅机器学习笔记29 循环神经网络 Recurrent Neural Network Part3

RNN还可以应用在Chat-bot里面，收集很多对话然后一起训练。

1. Attention-based model

当人听到一个问题的时候会在脑海联想自己已有的知识，看看哪些知识和这个问题最相关

机器也类似，机器有个memory database，每个memory为一个vector

当然也可以加入写的功能

Query进入中央处理器（DNN/RNN），然后操控reading head controller, reading head controller决定它要读取的位置

每个vector是一个语义

视觉知识问答也是一个应用

CNN可以从图像中提取特征

这个系统还可以用来做托福听力

用的数据集就是人类做听力用的资料

可以看出能做出不错的效果

想要了解更多，可以参考以下资料

2. RNN vs Structured learning

之前我们已经讨论过一次了RNN和HMM等传统方法哪个比较好

将两者结合在一起能取得不错的效果

在语音辨识中可以RNN等和HMM结合

在语义标注中则是Bi-directional LSTM和CRF等方法结合

3. GAN vs Structured learning

Structured learning和GAN很相似

X可以是图片，y是图片的文字描述

人们已经对两者有了很深的研究

后台回复“LHY2017” 就可以获取 2017年李宏毅中文机器学习课程下载链接~

-END-