李宏毅深度学习之Deep Learning的基本框架

大神的网站链接先附上：https://www.bilibili.com/video/BV1Ux411S7rk?t=3

学习框架如下图

1.1 Deep Learning的三个步骤

第一步：定义一个函数集

第二步：评价一个函数的好坏

第三步：找出最好的函数的方法（例如下降梯度法）

1.2 基本的神经网络模型

• 全连接层（Fully Connected Layer）
• 循环神经网络模型(Recurrent Neural Networks)
• 卷积/池化层（Convolutional/PoolingLayer）

1.3 特别的神经网络模型

• 空间变换层（Spatial Transformation Layer）
• 高速公路网/网状LSTM(HighwayNetwork/Grid LSTM)
• 递归结构（Recursive Structure）
• 外部存储（External Memory）
• Batch正则化（Batch Normalization）

1.4 Sequence-to-sequence/Attention