Neural Networks
这里的max gate,其实就是激活函数activation function中的ReLu。加激活函数的目的就是让这个线性公式变得非线性,否则不管有多少层神经网络,都会坍缩成一层,用一个线性公式就能表达了。
最下面一行的weights可视化是第一层的W1,h是经过激活函数后的第一层输出,W2是在第一层的基础上再进行提取,得出最终score的。
W1可以是很多不同的范本template,W2是所有范本的加权,让你可以在所有范本里平衡,来得到最后的分类。
比如W1的范本中有脸朝左的马,也有脸朝右的马,当输入的图像是脸朝左的马时,h中脸朝左的马这个范本对应的分值就会很高,而脸朝右和朝中间的范本分值很低。但是W2通过加权和weight sum,得出来最后整体作为马的分值会很高,因此可以将输入图片判定为马。(这段简直绕口令...)
二十行就可以写出训练一个两层的神经网络。
神经元的构成及代码。总之就是输入乘weights再加bias,经过激活函数得到输出。
几种常见的激活函数,后面的课程会详细介绍。
三层神经网络的前向传播及代码。
本课对应术语
领取专属 10元无门槛券
私享最新 技术干货