我就在这里等你关注,不离不弃
——A·May
R-46T-56
「序 言
」
前几天学习了R中的KNN近邻分类预测的做法,KNN近邻分析法可以说是最基础的、最简单的分类分方法,难度居中且好理解的是决策树,比较难理解的就是随机森林、SVM向量机和人工神经网络。
实际上,要是现在让我做一个分类模型的话,想都不想的选择决策树,因为过程和结果都很好理解,而且图形也可以拿出来用。但是,无奈决策树只适合于小数据样本,大数据我们还是要学会别的方法,主要是用来防身。
今天开始学习分类中最具代表性的,也是难度最大,但准确率也是最高的人工神经网络模型。
「
了解人工神经网络
」
人工神经网络的概念
人工神经网络(Artificial Neural Networks)是一种模仿生物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点(神经元)之间相互连接的权重,从而达到处理信息的目的。
说白了,人工神经网络就是一种模拟人脑而建立的一种计算机的建模方式。这个可以用来做分类预测,回归预测和聚类分析,但是我们以使用分类预测为主。
人工神经网络的样子
计算机模拟的人工神经网络模型
人工神经网络的构成与分类
1.依据拓扑(层次)结构分类
常见的人工神经网就是这种三层人工神经网络模型,如果没有隐含层,那就是两层人工神经网络;如果有多层隐含层那就是多层人工神经网络。
小圆圈就是节点,相当于人脑的神经元。节点之间的线称之为边,边表示节点之间存在关联性,关联性的大小由权重表示。
输入层就是我们的输入变量X,通常一个变量X是一个节点,有多少X就有多少个节点。
隐含层对输入变量X进行转化计算,层数和节点个数自行制定,通常只要一层,个数视情况而定。
输出层是我们的输出变量Y,对于回归问题和二分类变量问题,就有一个节点,多分类问题就存在多个节点。
2.依据层间连接方式分类
连接方式分层间连接和层内连接。
层间连接是输入层、隐含层和输出层之间的连接。
层内连接是指一层中节点之间的连接。
依据层间连接方式分类:
第一种是前馈式神经网络,这种神经网络的特点是层间节点的连接是单向的,上层节点向下连接下层节点,如上图。这是我们主要使用的B-P神经网络模型就是典型的前馈式神经网络模型。
第二种是反馈式神经网络,这种神经网络的特点是层间节点的连接是双向的,上层节点向下连接下层节点,下层节点也可以向上连接上层节点。这种神经网络更为复杂,很少使用。
「
人工神经网络的核心
」
节点
如图,这是一个简化的三层的人工神经网络模型,中间最大的圆圈(节点)的就是隐含层,在节点中含有两个重要的部分,一个是加法器U,另一个就是激活函数F(U),节点中这两个部分是神经网络的核心。
此外,W就是权重,是我们建模的关键,θ是偏差节点。
加法器 U 和激活函数 F(U)
加法器U的作用是把输出变量X组合成一种线性关系。
激活函数F(U),就是把加法器U得出来的预期结果转化成[0,1]的区间范围内的结果,常用的激活函数是Sigmoid型激活函数,用来计算节点值和权重。
U和F(U)的具体公式大家可以百度自查,这里没必要写,大家知道是用来做什么的就好。
例举 神经网络计算过程
如图,我计算了Y2的值,类似,我们也可以根据输出变量和输出变量计算Y1和Y3,这就是神经网络模型的计算过程。
「结语
」
神经网络的初步接触就到这里,从用处去慢慢理解一下每个部分是好的开始。
我是May,明天见!
学习数据挖掘交流平台
领取专属 10元无门槛券
私享最新 技术干货