从神经网络说起:深度学习初学者不可不知的25个术语和概念(上)

人工智能,深度学习和机器学习,不论你现在是否能够理解这些概念,你都应该学习。否则三年内,你就会像灭绝的恐龙一样被社会淘汰。

——马克·库班(NBA小牛队老板,亿万富翁)

马克·库班的这番话可能听起来挺吓人的,但道理是没毛病的!我们正经历一场大革命,这场革命就是由大数据和强大电脑计算能力发起的。

让我们花几分钟回想一下20世纪初的景象。那个时候很多人都不懂什么是电,在过去几十年,甚至几百年的时间里,人们一直沿用一种方式去做某件事情,但是突然间,好像身边的一切都变了。

以前需要很多人才能做成的事情,现在只需要一个人应用电力就能做成。而我们现在就正在经历相似的变革过程,今天这场变革的主角就是机器学习和深度学习。

如果你现在还不懂深度学习的巨大力量,那你真的要抓紧时间开始学啦!这篇文章就为大家介绍了深度学习领域常用的一些术语和概念。现在就从神经网络开始讲起。

神经网络基础概念:

(1)神经元——正如神经元是大脑的基本单位一样,在神经网络结构中,神经元也是一个小单位。大家不妨想象一下当我们接触到新的信息时,大脑是如何运作的。

首先,我们会在脑中处理这个信息,然后产生输出信息。在神经网络中也是如此,神经元接收到一个输入信息,然后对它进行加工处理,然后产生输出信息,传输到其他神经元中进行进一步信息处理。

(2)权重——当输入信息到达神经元时,它就会乘上一个权重。举例来说,如果一个神经元包含两个输入信息,那么每个输入信息都被赋予它的关联权重。我们随机初始化权重,并在模型训练过程中更新这些权重。

接受训练后的神经网络会赋予它认为重要的输入信息更高的权重值,而那些不重要的输入信息权重值则会相对较小。权重值为零就意味着这个特征是无关紧要的。

我们不妨假设输入信息为a,其关联权重为

,通过节点后,输入信息变为

(3)偏置 —— 除了权重之外,输入还有另一个线性分量,被称为偏置。输入信息乘上权重后再加上偏置,用来改变权重乘输入的范围。加上偏置之后,结果就变为

,这就是输入信息变换的最终线性分量。

(4)激活函数——线性分量应用可以到输入信息,非线性函数也可以应用到输入信息。这种输入信息过程是通过激活函数来实现的。

激活函数将输入信号翻译成输出信号。激活函数产生的输出信息为

,其中f(x)就是激活函数。

在下面的图表中,我们可以看到,输入信息数量为n,表示为

,相应的权重为

。将偏置设为

。权重乘以输入信息,再加偏置,我们设所得的值为u:

u=∑w*x+b

将u带入激活函数中,最后我们就可以得到从神经元输出的

常用激活函数

最常用的激活函数有Sigmoid、ReLU 和softmax。

  • Sigmoid——Sigmoid是最常用的激活函数之一。 它的定义为:

Sigmoid函数会生成0到1之间的更平滑的取值范围。我们可能需要观察输出值的变化,同时输入值也会略有变化。而平滑的曲线更方便我们观察,因此它优于阶梯函数(step functions)。

  • ReLU(线性修正单位)——不同于sigmoid函数,现在的网络更倾向于使用隐层ReLu激活函数。该函数的定义是:

当X> 0时,函数的输出为X,X <= 0时为0。该函数如下所示:

使用ReLU的好处主要是它对于大于0的所有输入值都有对应的不变导数值。而常数导数值可以加快对网络的训练。

  • Softmax——Softmax激活函数常用于输出层的分类问题。 它与sigmoid函数类似,唯一的区别是在Softmax激活函数中,输出被归一化,总和变为1。

如果我们遇到的是二进制输出问题,就可以使用Sigmoid函数,而如果我们遇到的是多类型分类问题,使用softmax函数可以轻松地为每个类型分配值,并且可以很容易地将这个值转化为概率。

这样看可能更容易理解一些——假设你正在尝试识别一个看起来像8实际为6的数。该函数将为每个数字赋值,如下所示。我们可以很容易地看出,最高概率被分配给了6,下一个最高概率则分配给8,依此类推...

(5)神经网络 ——神经网络是深度学习的主干之一。神经网络的目标是找到未知函数的一个近似值。它由相互联系的神经元组成。

这些神经元具有权重,并且会根据出错情况,在网络训练期间更新偏置值。激活函数将非线性变换置于线性组合,之后生成输出。被激活的神经元组合再产生输出。

对神经网络的定义中,以Liping Yang的最为贴切:

“神经网络由许多相互关联的概念化的人造神经元组成,这些人造神经元之间可以互相传递数据,并且具有根据网络‘经验’调整的相关权重。

神经元具有激活阈值,如果结合相关权重组合并激活传递给他们的数据,神经元的激活阈值就会被解除,激活的神经元的组合就会开始‘学习’。”

翻译:灯塔大数据

原文发布于微信公众号 - 灯塔大数据(DTbigdata)

原文发表时间:2017-06-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏视觉求索无尽也

图像卷积与滤波参考资料:

首先,我们有一个二维的滤波器矩阵(有个高大上的名字叫卷积核)和一个要处理的二维图像。然后,对于图像的每一个像素点,计算它的邻域像素和滤波器矩阵的对应元素的乘积,...

1072
来自专栏机器学习算法与Python学习

主流机器学习算法优缺点总结,先从基础玩起!

决策树分类方法,采用基于最小距离的基尼指数估计函数,用来决定由该子数据集生成的决策树的拓展形。决策树回归方法,采用切分点与切分变量来计算的损失来估计函数。如果目...

1342
来自专栏机器学习算法与Python学习

CS231n课程笔记翻译:图像分类笔记(上)

本文智能单元首发,译自斯坦福CS231n课程笔记image classification notes,由课程教师Andrej Karpathy授权进行翻译。本篇...

3576
来自专栏机器学习算法与Python学习

特征学习

Contents 1 关键词 2 为什么需要进行特征学习 3 无监督学习解决的问题 4 功能强大的特征学习 1. 关键词 自我学习/自学习 self-t...

31310
来自专栏技术随笔

[译] Perceptual Losses for Real-Time Style Transfer and Super-Resolution(Stanford University)

50212
来自专栏人工智能LeadAI

GBDT(梯度提升决策树)总结笔记

数据:对于输入数据 $$$x_i \in R^d$$$,训练数据里的第i个样本。 模型:如何对于给定的 $$$x_i$$$预测 $$$\hat{y}_i$$$。

1363
来自专栏WD学习记录

机器学习 学习笔记(17) 集成学习

集成学习通过构建并结合多个学习器来完成学习任务,有时候也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committe...

1312
来自专栏信数据得永生

《Scikit-Learn与TensorFlow机器学习实用指南》第5章 支持向量机

5148
来自专栏PPV课数据科学社区

【学习】十张图解释机器学习的基本概念

在解释机器学习的基本概念的时候,我发现自己总是回到有限的几幅图中。以下是我认为最有启发性的条目列表。 ? 1. Test and train...

2725
来自专栏IT技术精选文摘

机器学习之预测分析模型

介绍 预测分析是基于以前收集的数据来预测未来的结果。它包括两个阶段: 训练阶段:从训练数据中学习一个模型。 预测阶段:使用模型预测未知或未来的结果。 预测模...

2986

扫码关注云+社区