中国香港科技大学TensorFlow三天速成课件笔记

第二天，卷积神经网络

池化层：下采样

average pooling

max pooling

关键的维度计算：

输入的图片是32*32*3，3说明是RBG，3通道

那么卷积的单元窗口如果是5*5*3，filter，通常3是因为输入的depth也是3

一个filter形成一个点，计算过程是5*5*3和5*5*3点乘，可以看成是75维的向量相乘的结果形成的一个数字

卷积层的意义在于，采集信息的同时，逐渐减少信息维度

边上补零的意义在于，适当控制减少的程度

上述的例子中，会形成一个28*28*1的结果

如果有6个filter，那么就会形成6个中间层

32*32*3——6个5*5*3的filter——6层28*28，相当于28*28*6

如果有6个过滤器，相当于有6个神经单元从不同的角度进行观察

优点：

共享卷积核，优化计算量

无需手动选取特征，计算出来的W就是有特征的了

表达的信息比较丰富

缺点：

需要调参，需要大样本的支持

物理含义不明确

防止过拟合：

正则化和dropout

Resnet，本质上是f(x)+x

===================================================

第三天

RNN，循环神经网络，用于Sequence data

处理文本信息、机器翻译、智能客服

h(t)=fw(h(t-1,x(t))

当前状态不仅和当前输入有关，而且和当前时刻前一时刻的状态有关