【学术】在机器学习中经常使用的6种人工神经网络

人工神经网络是是类似于人类神经系统功能的计算模型。有几种人工神经网络是基于数学运算和确定输出所需的一组参数来实现的。让我们来看看吧:

1.前馈神经网络-人工神经元

这个神经网络是人工神经网络最简单的形式之一,它的数据或输入是单向的。数据通过输入节点并在输出节点上退出。这个神经网络可能有隐藏层,也可能没有隐藏层。简单地说,通常使用分类激活函数,它具有前传播波而无反向传播。

下面是一个单层前馈网络。在这里,输入和权重的乘积之和被计算出来并输出到输出。输出被认为是否超过某个值,即阈值(通常为0),神经元以激活的输出(通常为1)激发,如果不激活,则激活的值被发射(通常为-1)。

前馈神经网络在计算机视觉和语音识别中的应用,对目标类的分类是复杂的。这些神经网络对噪声数据敏感,易于维护。本文介绍了前馈神经网络的使用情况。x射线图像融合是基于边缘叠加两个或多个图像的过程。这是一个视觉描述。

2.径向基函数神经网络

径向基函数考虑一个点对中心的距离。RBF函数有两层,首先将特征与内部层的径向基函数结合在一起,然后在下一个时间步计算相同的输出时考虑这些特征的输出,这基本上是一个存储器。

下面是一个图表,它表示从中心到平面的一个点的距离,类似于圆的半径。这里,也可以使用欧几里德距离度量中使用的距离度量。该模型在将各点划分为不同的类别时,依赖于圆的最大值或半径。如果该点位于半径内或附近,新点开始分类到该类别的可能性很高。从一个区域到另一个区域的变化可能会有一个转变,而这可以由beta函数来控制。

该神经网络已应用于电力恢复系统。电力系统的规模和复杂性都在增加。这两个因素都增加了大停电的风险。在停电之后,电力需要尽快和可靠地恢复。本文介绍了RBF神经网络在该领域的应用。

电力恢复通常按以下顺序进行:

—第一要务是恢复社区基本客户的权力。这些客户为所有人提供医疗保健和安全服务,首先回复他们的权利,使他们能够帮助其他人。基本客户包括医疗设施、学校董事会、重要的市政基础设施、警察和消防服务。

—然后专注于为更多客户服务的主要电力线路和变电站。

—给维修带来更高的优先级,将使最大数量的客户尽快恢复服务。

—然后将电力恢复到较小的社区、个人住宅和企业的电源。

下图显示了电力恢复系统的典型顺序:

参照图表,首先要解决传输线上A点的问题。有了这条线路,所有的房子都不能恢复供电。接下来,解决变电站外主配电线上的问题B。房屋2、3、4和5都受到这个问题的影响。接下来,将线路固定在C点,影响4号和5号房屋。最后,我们将D线的服务线固定到房屋1。

3.Kohonen自组织神经网络

Kohonen地图的目标是将任意维度的向量输入到由神经元组成的离散映射中。地图需要训练来创建自己的训练数据组织。它由一个或两个维度组成。在训练地图时,神经元的位置保持不变,但权重因数值不同而不同。这个自组织过程有不同的部分,在第一阶段,每个神经元的值都是用一个小的权重和输入向量来初始化的;在第二阶段,最接近该点的神经元是“获胜的神经元”,与获胜神经元相连的神经元也将向下移动,如下图所示。点与神经元之间的距离是由欧几里德距离计算,距离最远的神经元获胜。通过迭代,所有的点都聚集在一起,每个神经元代表每一种集群。这是Kohonen神经网络组织的主旨。

Kohonen神经网络用于识别数据中的模式。其应用可以在医学分析中找到,以将数据聚类成不同的类别。Kohonen地图能够对具有高准确度的肾小球或肾管患者进行分类。这里是如何使用欧几里德距离算法对其进行数学分类的详细解释。下图展示了健康和患有肾小球的人之间的比较。

4.递归神经网络(RNN) -长期短期记忆

递归神经网络的工作原理是保存一层的输出,并将其反馈给输入,以帮助预测该层的结果。

这里,第一层形成类似于前馈神经网络的权重和特征之和的乘积。一旦计算出这个循环的神经网络过程就开始了,这意味着从一个时间步到下一个时间点,每个神经元都会记住它在上一个时间步中的一些信息。这使得每个神经元在执行计算时表现得像一个记忆细胞。在这个过程中,我们需要让神经网络在前面的传播中工作,并记住它需要什么信息,以便以后使用。在这里,如果预测是错误的,我们就利用学习速率或误差修正来做出微小的改变,以便在反向传播过程中逐渐做出正确的预测。这就是一个基本的递归神经网络。

递归神经网络的应用可以在语音(TTS)转换模型中找到。本文介绍了在加州百度人工智能实验室开发的Deep Voice。它是受传统的文本到语音结构的启发,用神经网络代替所有的组件。首先,将文本转换为“音素”,音频合成模型将其转换为语音。RNN也在Tacotron 2中实现:人类喜欢通过文本转换的语音。我们可以从下面看到:

5.卷积神经网络

卷积神经网络类似于前馈神经网络,其神经元具有可学习的权重和偏差。在计算机视觉领域,它的应用已经在计算机视觉领域承担OpenCV的信号和图像处理。

下面是一个ConvNet的表示,在这个神经网络中,输入特性像一个过滤器一样分批被采取的。这将帮助网络记住部件中的图像,并能够计算操作。这些计算涉及将图像从RGB或HIS尺度转换成灰度。一旦我们有了这个,像素值的变化将帮助检测边缘和图像可以划分为不同的类别。

ConvNet应用于信号处理和图像分类技术等技术。由于图像分类的准确性,计算机视觉技术由卷积神经网络占主导地位。从像LSAT这样的开源卫星中提取农业和气象特征的图像分析和识别技术正在得到实施。

6.模块化神经网络

模块化神经网络具有独立工作的不同网络集合,并对输出有贡献。每个神经网络都有一组与其他网络构造和执行子任务相比较的输入。这些网络在完成任务时不会相互作用或发出信号。模块化神经网络的优点是将大型的计算过程分解成较小的组件,从而降低了复杂性。这种分解将有助于减少连接的数量,并消除这些网络之间的相互作用,从而提高计算速度。然而,处理时间将取决于神经元的数量以及它们对计算结果的参与程度。

下面是一个视觉表现:

模块化神经网络(MNN)是人工神经网络研究中一个快速发展的领域。本文研究了创建MNN的不同动机:生物、心理、硬件和计算。然后,对MNN设计的一般阶段进行了概述和调查,即任务分解技术、学习方案和多模块决策策略。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-01-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

学界 | 腾讯 AI Lab 详解16篇 ICML 2018 入选论文

7月10日至15日,第 35 届国际机器学习会议(ICML 2018)将在瑞典斯德哥尔摩举行。ICML是机器学习领域最顶级的学术会议,今年共收到2473篇投递论...

1083
来自专栏机器学习算法全栈工程师

简单易懂的自动编码器

作者:叶虎 编辑:田旭 引言 自动编码器是一种无监督的神经网络模型,它可以学习到输入数据的隐含特征,这称为编码(coding),同时用学习到的新特征可以重构出原...

3796
来自专栏机器之心

深度 | Pedro Domingos总结机器学习研究的12个宝贵经验

34010
来自专栏marsggbo

AutoML技术现状与未来展望

很多时候在某一领域使用机器学习得到了效果很好的模型,但是若要在另一个领域使用该模型则不一定适用,而且通常需要大量的专业知识。正是由于受到这样的限制,所以才有了A...

1625
来自专栏机器学习算法与理论

深度学习核心技术实战——图像分类模型

1.LeNet-5: 每一个卷积核都会形成一个特征图,3个通道则是每个通道是不同的卷积核,但是最后是将三通道的卷积值相加,最后变成一个通道,所以5564的卷积核...

601
来自专栏机器之心

学界 | FAIR提出用聚类方法结合卷积网络,实现无监督端到端图像分类

预训练的卷积神经网络,或称卷积网络,已经成为大多数计算机视觉应用的基础构建模块 [1,2,3,4]。它们能提取极好的通用特征,用来提高在有限数据上学习的模型的泛...

881
来自专栏AI科技大本营的专栏

福利 | 图像的语义分割—CRF通俗非严谨的入门

本文节选自《深度学习轻松学》第九章—图像的语义分割,作者冯超。 福利提醒:想要获得本书,请在评论区留言,分享你的深度学习经验,第8、18、28、38以及48楼...

3786
来自专栏AI研习社

干货:图像比赛的通用套路有哪些?Kaggle比赛金牌团队为你解答

AI研习社按: Kaggle 是全世界首屈一指的数据科学、机器学习开发者社区和竞赛平台。日前,中山大学CIS实验室的研二学生刘思聪为我们带来了一场精彩的分享。他...

3516
来自专栏数据派THU

用这种方法实现无监督端到端图像分类!

FAIR 的研究者提出了一种为卷积网络进行大规模端到端训练的聚类方法。他们证明了用聚类框架获得有用的通用视觉特征是可实现的。

631
来自专栏机器之心

六种改进均未超越原版:谷歌新研究对GAN现状提出质疑

选自arXiv 机器之心编译 参与:李泽南、路雪、蒋思源 令人沮丧的结果:尽管目前很多GAN的衍生算法都声称自己要比原版GAN更强大,谷歌大脑的新研究却对这种主...

3257

扫描关注云+社区