【DLND 机器学习算法全栈工程师】干货!小白也能看懂的神经网络入门

导语: 干货来了,Udacity Machine Learning 课程导师 Walker 亲自出马,教你简单形象有趣地掌握神经网络!

神经网络是什么?神经网络就是一系列简单的节点,在简单的组合下,表达一个复杂的函数。下面我们来一个个解释。

线性节点

节点是一个简单的函数模型,有输入,有输出。

1、最简单的线性节点: x+y

我能想到的最简单的线性节点当然就是 x + y

2、参数化线形节点:ax+by

x + y 是一个特殊的线形组合,我们可以一般化所有x, y的线性组合, 即 ax + by。这 a, b 就是这个节点的参数。不同的参数可以让节点表示不同的函数,但节点的结构是一样的。

3、多输入线性节点: a1x1 + a2x2 + a3x3+...+anxn

我们进一步把 2 个输入一般化成任意多个输入。这里 a1,a2,a3,...an 是这个节点的参数。同样,不同的参数可以让节点表示不同的函数,但节点的结构是一样的。注意 n 并非是这个节点的参数,输入个数不同的节点结构是不一样的。

4、 线性节点的向量表达:aTx

上面的式子太过冗长,我们用向量 x 表示输入向量 (x1, x2, . . . , xn), 用向量 a 表示参数向量 (a1,a2,...,an),不难证明aTx=a1x1 +a2x2 +a3x3+...+anxn。这里向量 a 就是这个节点的参数,这个参数的维度与输入向量的维度相同。

5、带常量的线性节点:aTx+b

有时, 我们希望即使输入全部为 0 的时候,线形节点依然可以有输出,因此引入一个新的参数 b 作为偏差项,以此来增加模型的表达性。有时,为了简化,我们会把表达式写作 aT x此时,x = (x1,x2,...,xn,1),a = (a1,a2,...,an,b)

6、带激活函数的线性节点: 1(aT x + b > 0)

对于二项分类问题,函数的输出只是真或假,即 0 或 1。函数 1 : R → {1, 0} 将真命题映射到 1, 将假命题映射到 0。

线性节点实例

1、线性节点表达 x y (或函数) ,或函数的真值表如下:

定义节点 1(x + y − 0.5 > 0), 不难验证,它与 x y 是等价的。

2、线性节点表达 x ∧ y (与函数) ,与函数的真值表如下:

定义节点 1(x + y − 1.5 > 0), 不难验证,它与 x y 是等价的。

线性节点的表达力

单个线性节点可以表达所有线性函数(函数值域为实数集)、以及所有线性可分的分类 (函数值域为{0, 1})。概念定义和命题的证明我们这里不再阐述。虽然单个线性节点已经很强 ,但依然有图的局限性。对于线性不可分的函数,它无能为力, 例如异或函数 x y

线性节点的组合

1、多个线性节点同层组合:WTx

上述的线性节点输入是多维的,但输出只是一维,即一个实数。如果我们想要多维的输出,那么就可以并列放置多个节点。a1 ,a2 ,...,am 分别是 m 个节点的参数,那么输出则分别为 a1Tx,a2Tx,...,amT x. 最终的输出结果为

其中 W = [a1,a2,...,am] 是一个 n 行m 列的参数矩阵。

2、多层线性节点:

多层线性节点中,某一层带激活函数的线性节点,输出作为下一层的输入 。通常中间层(或者隐藏层,图中的蓝色节点)会带有一个激活函数,来增加模型的表达力 。(思考: 如果隐藏层没有激活函数,为什么两层线性节点和一层等价?)

多层线性节点实例

1. 多层表达异或函数 x y,异或函数的真值表为:

这是一个不可线性分隔的函数,不可以一个线性节点表达。但我们可以使用多层的线性节点来完成这个任务。

多层线性节点的表达力

可以证明,多层神经元可以表达所有连续函数。证明比较复杂,有兴趣的粉丝可以去看下: A visual proof that neural nets can compute any function

总结

其实在本篇文章中,我们还有很多常见的节点没有讲到, 如 ReLu, sigmoid, dropout 等。神经网络不仅有正向计算,还有反向传导,这些节点的出现和反向传导息息相关……

原文发布于微信公众号 - 机器学习算法全栈工程师(Jeemy110)

原文发表时间:2018-01-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ArrayZoneYour的专栏

用Python从零开始构建反向传播算法

在本教程中,你将探索如何使用Python从零开始构建反向传播算法。

4398
来自专栏智能算法

机器学习三人行(系列八)----神奇的分类回归决策树(附代码)

系列五我们一起学习并实战了支持向量机的分类和回归,见下面链接: 机器学习三人行(系列七)----支持向量机实践指南(附代码) 今天,我们一起学习下决策树算法,该...

27712
来自专栏人工智能LeadAI

Scikit-learn使用总结

在机器学习和数据挖掘的应用中,scikit-learn是一个功能强大的python包。在数据量不是过大的情况下,可以解决大部分问题。学习使用scikit-lea...

3697
来自专栏算法channel

机器学习常见的聚类算法(上篇)

陈浩然,北大在读,个人网站:chrer.com,里面记录了机器学习、深度学习的系统学习笔记,欢迎大家访问,感谢分享!

480
来自专栏机器学习算法原理与实践

scikit-learn 梯度提升树(GBDT)调参小结

    在梯度提升树(GBDT)原理小结中,我们对GBDT的原理做了总结,本文我们就从scikit-learn里GBDT的类库使用方法作一个总结,主要会关注调参...

643
来自专栏机器学习算法原理与实践

用scikit-learn学习主成分分析(PCA)

    在主成分分析(PCA)原理总结中,我们对主成分分析(以下简称PCA)的原理做了总结,下面我们就总结下如何使用scikit-learn工具来进行PCA降维...

492
来自专栏大数据挖掘DT机器学习

R语言主成分和因子分析

主成分分析(PCA)是一种数据降维技巧,它能将大量相关变量转化为一组很少的不相关变量,这些无关变量称为主成分。 探索性因子分析(EFA)是一系列用来发现一组变...

2984
来自专栏WD学习记录

机器学习 学习笔记(18) 提升树

提升树是以分类树或回归树为基本分类器的提升方法,提升树被认为是统计学习中性能最好的方法之一。

854
来自专栏人工智能

课后作业(二):如何用一个只有一层隐藏层的神经网络分类Planar data

来源:sandipanweb 编译:Bot 编者按:之前,论智曾在TOP 10:初学者需要掌握的10大机器学习(ML)算法介绍了一些基础算法及其思路,为了与该帖...

1576
来自专栏IT派

对数几率回归 —— Logistic Regression

首先,在引入LR(Logistic Regression)模型之前,非常重要的一个概念是,该模型在设计之初是用来解决0/1二分类问题,虽然它的名字中有回归二字,...

962

扫描关注云+社区