详解神经网络中的神经元和激活函数

在上一节,我们通过两个浅显易懂的例子表明,人工智能的根本目标就是在不同的数据集中找到他们的边界,依靠这条边界线,当有新的数据点到来时,只要判断这个点与边界线的相互位置就可以判断新数据点的归属。

上一节我们举得例子中,数据集可以使用一条直线区分开。但对很多问题而言,单一直线是无法把数据点区分开的,例如亦或运算, 当两数的值不同时,亦或结果为1,相同时亦或运算结果为0,我们用 oxr 标记亦或运算,那么输入是0和1时,有以下几种情况:

1 xor 0 = 1
0 xor 1 = 1
1 xor 1 = 0
0 xor 0 = 0

我们把输入的四种情况绘制到坐标轴上看看:

我们看到,两个绿色点属于同一集合,因为绿色点做亦或运算后结果都是1,红色点属于统一集合,因为他们做运算后结果都是0,然而面对这种情形,你根本无法用一根直线把两种集合点区分开来,你必须如上图所示,用两根直线才能区分,如果点在两根直线之间,那么他们属于同一集合,如果点处于两跟直线之外,那么他们属于另外一个集合。

所谓神经网络就是由很多个神经元组成的集合,我们可以认为一个神经元用于绘制一段分割线,复杂的数据分布需要很多条形状各异的线条才能组成合理的分界线,数据分布的情况越复杂,我们就需要越多个神经元来进行运算。

深度学习的神经网络借助了生物学对脑神经系统的研究成果。一个生物大脑神经元如下所示:

最左边的部分’dendrite‘叫突触,它用来接收外界输入的电信号,中间部分axon叫轴突,它把突触接收的信号进行整合处理,右边部分terminals叫终端输出,它把轴突整合后的信号切分成多部分,分别传送给其他神经元。下图是脑神经学家从鸽子脑子获取的神经元图像:

人的大脑大概有一千亿个神经元组成一个庞大的计算网络。苍蝇大脑只有十万个神经元,尽管如此,苍蝇就能够控制飞行,寻找食物,识别和躲避危险,这些很看似简单的动作操控就连现在最强大的计算机都无法实现。生物大脑其运算能力远逊于计算机,为何生物能轻而易举做到的事情计算机却做不到呢?大脑的运行机制目前人类还没有完全搞懂,但有一点可以肯定的是,生物大脑的运算运行存在“模糊性”,而电子计算机不行。

我们看一个神经元是如何工作的。神经元接收的是电信号,然后输出另一种电信号。如果输入电信号的强度不够大,那么神经元就不会做出任何反应,如果电信号的强度大于某个界限,那么神经元就会做出反应,向其他神经元传递电信号:

想象你把手指深入水中,如果水的温度不高,你不会感到疼痛,如果水的温度不断升高,当温度超过某个度数时,你会神经反射般的把手指抽出来,然后才感觉到疼痛,这就是输入神经元的电信号强度超过预定阈值后,神经元做出反应的结果。为了模拟神经元这种根据输入信号强弱做出反应的行为,在深度学习算法中,运用了多种函数来模拟这种特性,最常用的分布是步调函数和sigmoid函数,我们先看看步调函数的特性,我们通过以下代码来绘制步调函数:

import matplotlib.pyplot as plt
x = [1,2,3,4]
y = [0, 1, 2, 3]
plt.step(x, y)
plt.show()

上面代码运行后结果如下:

我们看到,这个函数的特点是,当输入的x小于1时,函数的输出一直都是零。当输入的x大于等于1时,输出一下子从零跃迁到1,当x输入处于1到2之间时,输出一直是1,当x增大到2以上时,输出一下子跃迁到2,以此类推。

第二种常用的模拟函数就是sigmoid,它的形状就像字母S,输入下面代码绘制sigmoid函数:

from matplotlib import pylab
import pylab as plt
import numpy as np

def sigmoid(x):
    return (1 / (1 + np.exp(-x)))

mySamples = []
mySigmoid = []

x = plt.linspace(-10, 10, 10)
y = plt.linspace(-10, 10, 100)

plt.plot(x, sigmoid(x), 'r', label = 'linspace(-10, 10, 10)')
plt.plot(y, sigmoid(y), 'r', label='linspace(-10, 10, 1000)')

plt.grid()

plt.title('Sigmoid function')
plt.suptitle('Sigmoid')

plt.legend(loc='lower right')

plt.text(4, 0.8, r'$\sigma(x)=\frac{1}{1+e^(-x)}$', fontsize=15)

plt.gca().xaxis.set_major_locator(plt.MultipleLocator(1))
plt.gca().yaxis.set_major_locator(plt.MultipleLocator(0.1))

plt.xlabel('X Axis')
plt.ylabel('Y Axis')

plt.show()

上面代码执行后结果如下:

从函数图我们看到,当输入小于0时,函数的输出增长很缓慢,当输入大于0时,输出便极具增长,等到x大到一定程度后,输出保持在固定水准。sigmoid函数的代数式子如下:

其中的字母e表示欧拉常数,它的值约为2.71828。以后面对更复杂的问题时,我们还得使用更复杂的模拟函数,所有这些模拟神经元对电信号进行反应的函数统称为激活函数

一个神经元会同时接收多个电信号,把这些电信号统一起来,用激活函数处理后再输出新的电信号,如下图:

神经网络算法中设计的神经元会同时接收多个输入参数,它把这些参数加总求和,然后代入用激活函数,产生的结果就是神经元输出的电信号。如果输入参数加总的值不大,那么输出的信号值就会很小,如果输入信号中,有某一个值很大其他的都很小,那么加总后值很大,输出的信号值就会变大,如果每个输入参数都不算太大,但加总后结果很大,于是输出的信号值就会很大,这种情况就使得运算具备一定的模糊性,这样就跟生物大脑的神经元运转方式很相像。

神经元不是各自为战,而是连成一个网络,并对电信号的处理形成一种链式反应:

前一个神经元接收输入信号,处理后会把输出信号分别传送给下一层的多个神经元。在神经网络算法上也会模拟这种特性,在算法设计中,我们会构造如下的数据结构:

上面有三层节点,每层有三个节点,第一层的节点接收输入,进行运算后,把输出结果分别提交给下一层的三个节点,如此类推直到最后一层。现在问题是,这种结构如何像上一节我们举得例子那样,根据误差进行学习调整呢?事实上,在上一层的节点把处理后的电信号传达到下一层的节点时,输出信号会分成若干部分分别传给下一层的不同节点,每一部分都对应一个权值,如下图:

我们看到,第一层的节点1把输出信号传给第二层的节点1时,传递路径上有一个权值W(1,1),也就是节点1输出的电信号值乘以这个权值W(1,1)后,所得的结果才会提交给第二层的节点1,同理第一层节点1输出的信号要乘以W(1,2)这个权值后,所得结果才会传递给第二层节点2.

这些参数就对应于我们上一节例子中用于调整的参数,整个网络对输入进行运算后,在最外层产生输出,输出会跟结果进行比对,获取误差,然后网络再根据误差反过来调整这些层与层之间的传递参数,只不过参数调整的算法比我们前一节的例子要复杂不少。接下来我们看看一个具体的两层网络信号传递运算过程。

上图是一个两层网络,每个网络有两个节点,假设从第一次开始输入两个信号,分别是1,0.5:

第一层神经元直接把输入加总后分发到第二层,第二层神经元使用的激活函数是sigmoid, 神经元之间的信号权值如下:

W(1,1) = 0.9; W(1,2) = 0.2
W(2,1) = 0.3; W(2,2) = 0.8

就如上一节例子描述的,一开始每层节点间的权值是随机获取的。于是第一层神经元处理信号后把输出传递给第二层:

主要的运算发生在第二层的神经元节点。第二层的神经元要把第一层传来的信号值加总然后在传给sigmoid激活函数

从第一层第一个节点传给第二层第一个节点的信号值是 1.0 0.9 = 0.9; 第一层第二个节点传给第二层第一个节点的信号值是 0.5 0.3 = 0.15。第二层第一个节点把这些信号值加总后得 X = 0.9 + 0.15 = 1.05; 再把这个值传给sigmoid函数: 1 / (1 + exp(-x));也就是y = 1 / (1 + exp(-1.05)) = 0.7408;

第一层第一个节点传递给第二层第二个节点的信号值是 1.0 0.2 = 0.2; 第一层第二个节点传给第二层第二个节点的信号值是 0.5 0.8 = 0.4, 第二层第二个节点把这些信号值加总得 X = 0.2 + 0.4 = 0.6, 再将其传入激活函数得 y = 1 / (1 + exp(-0.6)) = 0.6457,最后我们得到神经网络的输出结果为: (0.7408, 0.6457)。

下一节我们将深入研究如何使用张量运算加快神经网络的运算,以及探讨如何通过误差调整网络中节点间的权值。

原文发布于微信公众号 - Coding迪斯尼(gh_c9f933e7765d)

原文发表时间:2018-02-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

反馈型神经网络

反馈型神经网络(recurrent networks)是一种从输出到输入具有反馈连接的神经网络,其结构比前馈网络要复杂得多。典型的反馈型神经网络有Elman网络...

50180
来自专栏程序生活

机器学习(十三)缺失值处理的处理方法总结

23420
来自专栏AI科技大本营的专栏

重磅 | 周志华最新论文:首个基于决策树集成的自动编码器,表现优于DNN

向AI转型的程序员都关注了这个号☝☝☝ ? 翻译 | AI科技大本营(rgznai100) 参与 | 周翔、reason_W成龙,Shawn 今年 2 月,南京...

52640
来自专栏AI研习社

CS231n 课后作业第二讲 : Assignment 2(含代码实现)| 分享总结

CS231n 是斯坦福大学开设的计算机视觉与深度学习的入门课程,授课内容在国内外颇受好评。其配套的课后作业质量也颇高,因此雷锋网 AI 研习社在近期的线上公开...

541100
来自专栏人工智能LeadAI

理工男的文科梦 —— LSTM深度学习写春联

笔者作为一名根正苗红的理工男,内心却常常有很多文艺青年才会有的想法,例如写首诗、做首词,甚至包括春节写副对联,空有一番愿望却胸无点墨。随着对机器学习和深度学习的...

52940
来自专栏大数据文摘

【自测】斯坦福深度学习课程第五弹:作业与解答2

31190
来自专栏杨熹的专栏

Machine Learning Notes-Linear Regression-Udacity

什么是 Regression? Regression 就是想找到因变量和自变量之间的关系,用一个函数来表示,并且可用这个函数来预测任意一个新的 x 会有怎样的 ...

37040
来自专栏PaddlePaddle

转载|使用PaddleFluid和TensorFlow训练序列标注模型

上一篇通过转载|使用PaddleFluid和TensorFlow训练RNN语言模型大家了解了:

14230
来自专栏PPV课数据科学社区

TensorFlow 广度和深度学习的教程

? 在这篇文章中,我们将会介绍如何使用 TF.Learn API 同时训练一个广度线性模型和一个深度前馈神经网络。这种方法结合了记忆和泛化的优势。它在一般的大...

39250
来自专栏新智元

TensorFlow 自动句子语义编码,谷歌开源机器学习模型 Skip-Thoughts

【新智元导读】谷歌今天开源一个句子编码器模型 Skip-Thoughts,在 TensorFlow 上实现,学习将输入的句子编码成固定维度的向量表示,可以用于语...

43830

扫码关注云+社区

领取腾讯云代金券