Day023 CS231n-Neural Networks

Neural Networks

这里的max gate，其实就是激活函数activation function中的ReLu。加激活函数的目的就是让这个线性公式变得非线性，否则不管有多少层神经网络，都会坍缩成一层，用一个线性公式就能表达了。

最下面一行的weights可视化是第一层的W1，h是经过激活函数后的第一层输出，W2是在第一层的基础上再进行提取，得出最终score的。

W1可以是很多不同的范本template，W2是所有范本的加权，让你可以在所有范本里平衡，来得到最后的分类。

比如W1的范本中有脸朝左的马，也有脸朝右的马，当输入的图像是脸朝左的马时，h中脸朝左的马这个范本对应的分值就会很高，而脸朝右和朝中间的范本分值很低。但是W2通过加权和weight sum，得出来最后整体作为马的分值会很高，因此可以将输入图片判定为马。（这段简直绕口令...）

二十行就可以写出训练一个两层的神经网络。

神经元的构成及代码。总之就是输入乘weights再加bias，经过激活函数得到输出。

几种常见的激活函数，后面的课程会详细介绍。

三层神经网络的前向传播及代码。

本课对应术语