【学术】在机器学习中经常使用的6种人工神经网络

人工神经网络是是类似于人类神经系统功能的计算模型。有几种人工神经网络是基于数学运算和确定输出所需的一组参数来实现的。让我们来看看吧:

1.前馈神经网络-人工神经元

这个神经网络是人工神经网络最简单的形式之一,它的数据或输入是单向的。数据通过输入节点并在输出节点上退出。这个神经网络可能有隐藏层,也可能没有隐藏层。简单地说,通常使用分类激活函数,它具有前传播波而无反向传播。

下面是一个单层前馈网络。在这里,输入和权重的乘积之和被计算出来并输出到输出。输出被认为是否超过某个值,即阈值(通常为0),神经元以激活的输出(通常为1)激发,如果不激活,则激活的值被发射(通常为-1)。

前馈神经网络在计算机视觉和语音识别中的应用,对目标类的分类是复杂的。这些神经网络对噪声数据敏感,易于维护。本文介绍了前馈神经网络的使用情况。x射线图像融合是基于边缘叠加两个或多个图像的过程。这是一个视觉描述。

2.径向基函数神经网络

径向基函数考虑一个点对中心的距离。RBF函数有两层,首先将特征与内部层的径向基函数结合在一起,然后在下一个时间步计算相同的输出时考虑这些特征的输出,这基本上是一个存储器。

下面是一个图表,它表示从中心到平面的一个点的距离,类似于圆的半径。这里,也可以使用欧几里德距离度量中使用的距离度量。该模型在将各点划分为不同的类别时,依赖于圆的最大值或半径。如果该点位于半径内或附近,新点开始分类到该类别的可能性很高。从一个区域到另一个区域的变化可能会有一个转变,而这可以由beta函数来控制。

该神经网络已应用于电力恢复系统。电力系统的规模和复杂性都在增加。这两个因素都增加了大停电的风险。在停电之后,电力需要尽快和可靠地恢复。本文介绍了RBF神经网络在该领域的应用。

电力恢复通常按以下顺序进行:

—第一要务是恢复社区基本客户的权力。这些客户为所有人提供医疗保健和安全服务,首先回复他们的权利,使他们能够帮助其他人。基本客户包括医疗设施、学校董事会、重要的市政基础设施、警察和消防服务。

—然后专注于为更多客户服务的主要电力线路和变电站。

—给维修带来更高的优先级,将使最大数量的客户尽快恢复服务。

—然后将电力恢复到较小的社区、个人住宅和企业的电源。

下图显示了电力恢复系统的典型顺序:

参照图表,首先要解决传输线上A点的问题。有了这条线路,所有的房子都不能恢复供电。接下来,解决变电站外主配电线上的问题B。房屋2、3、4和5都受到这个问题的影响。接下来,将线路固定在C点,影响4号和5号房屋。最后,我们将D线的服务线固定到房屋1。

3.Kohonen自组织神经网络

Kohonen地图的目标是将任意维度的向量输入到由神经元组成的离散映射中。地图需要训练来创建自己的训练数据组织。它由一个或两个维度组成。在训练地图时,神经元的位置保持不变,但权重因数值不同而不同。这个自组织过程有不同的部分,在第一阶段,每个神经元的值都是用一个小的权重和输入向量来初始化的;在第二阶段,最接近该点的神经元是“获胜的神经元”,与获胜神经元相连的神经元也将向下移动,如下图所示。点与神经元之间的距离是由欧几里德距离计算,距离最远的神经元获胜。通过迭代,所有的点都聚集在一起,每个神经元代表每一种集群。这是Kohonen神经网络组织的主旨。

Kohonen神经网络用于识别数据中的模式。其应用可以在医学分析中找到,以将数据聚类成不同的类别。Kohonen地图能够对具有高准确度的肾小球或肾管患者进行分类。这里是如何使用欧几里德距离算法对其进行数学分类的详细解释。下图展示了健康和患有肾小球的人之间的比较。

4.递归神经网络(RNN) -长期短期记忆

递归神经网络的工作原理是保存一层的输出,并将其反馈给输入,以帮助预测该层的结果。

这里,第一层形成类似于前馈神经网络的权重和特征之和的乘积。一旦计算出这个循环的神经网络过程就开始了,这意味着从一个时间步到下一个时间点,每个神经元都会记住它在上一个时间步中的一些信息。这使得每个神经元在执行计算时表现得像一个记忆细胞。在这个过程中,我们需要让神经网络在前面的传播中工作,并记住它需要什么信息,以便以后使用。在这里,如果预测是错误的,我们就利用学习速率或误差修正来做出微小的改变,以便在反向传播过程中逐渐做出正确的预测。这就是一个基本的递归神经网络。

递归神经网络的应用可以在语音(TTS)转换模型中找到。本文介绍了在加州百度人工智能实验室开发的Deep Voice。它是受传统的文本到语音结构的启发,用神经网络代替所有的组件。首先,将文本转换为“音素”,音频合成模型将其转换为语音。RNN也在Tacotron 2中实现:人类喜欢通过文本转换的语音。我们可以从下面看到:

5.卷积神经网络

卷积神经网络类似于前馈神经网络,其神经元具有可学习的权重和偏差。在计算机视觉领域,它的应用已经在计算机视觉领域承担OpenCV的信号和图像处理。

下面是一个ConvNet的表示,在这个神经网络中,输入特性像一个过滤器一样分批被采取的。这将帮助网络记住部件中的图像,并能够计算操作。这些计算涉及将图像从RGB或HIS尺度转换成灰度。一旦我们有了这个,像素值的变化将帮助检测边缘和图像可以划分为不同的类别。

ConvNet应用于信号处理和图像分类技术等技术。由于图像分类的准确性,计算机视觉技术由卷积神经网络占主导地位。从像LSAT这样的开源卫星中提取农业和气象特征的图像分析和识别技术正在得到实施。

6.模块化神经网络

模块化神经网络具有独立工作的不同网络集合,并对输出有贡献。每个神经网络都有一组与其他网络构造和执行子任务相比较的输入。这些网络在完成任务时不会相互作用或发出信号。模块化神经网络的优点是将大型的计算过程分解成较小的组件,从而降低了复杂性。这种分解将有助于减少连接的数量,并消除这些网络之间的相互作用,从而提高计算速度。然而,处理时间将取决于神经元的数量以及它们对计算结果的参与程度。

下面是一个视觉表现:

模块化神经网络(MNN)是人工神经网络研究中一个快速发展的领域。本文研究了创建MNN的不同动机:生物、心理、硬件和计算。然后,对MNN设计的一般阶段进行了概述和调查,即任务分解技术、学习方案和多模块决策策略。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-01-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程

论文报告 Semi-supervised Word Sense Disambiguation

链接:https://arxiv.org/pdf/1603.07012.pdf 简介: 本文解决的问题是自然语言处理领域里的经典任务之一:语义消歧(Word S...

2016
来自专栏人工智能头条

深度学习为何起作用——关键解析和鞍点

1815
来自专栏云时之间

<机器学习>西瓜书,读书笔记

机器学习的发展阶段 1:推荐书目:周志华<机器学习西瓜书>,李航教授<统计学习方法>,这两本书都用简单的方式介绍了一批重要并且常用的机器学习算法 机器学习所发展...

3489
来自专栏新智元

以色列神秘AI研究力量:深度学习的四大失败

【新智元导读】深度学习力量强大,但无论是理论研究者还是实际从业者,了解深度学习的局限也是十分重要的。耶路撒冷希伯来大学的一组研究人员,其中有两位任职于 Mobi...

4168
来自专栏磐创AI技术团队的专栏

目标检测算法上手实战

从广义上说,计算机视觉就是“赋予机器自然视觉能力”的学科。计算机视觉与人工智能有密切联系,但也有本质的不同。人工智能更强调推理和决策,但至少计算机视觉目前还主要...

4286
来自专栏机器之心

深度 | 卷积神经网络十五问:CNN与生物视觉系统的研究探索

和我近期的大多数博文一样,我写这篇文章的起因是近期一个 Twitter 讨论,具体是关于如何将深度卷积神经网络(CNN)的组件与大脑联系起来。但是,这里的大多数...

850
来自专栏Petrichor的专栏

深度学习: 细粒度图像识别 (fine-grained image recognition)

细粒度图像识别 (fine-grained image recognition),即 精细化分类 。

1573
来自专栏机器之心

观点 | 对比梯度下降与进化策略,神经进化会成为深度学习的未来吗?

35413
来自专栏算法+

图像去模糊算法 循序渐进 附完整代码

这样看,虽然知道是在做一个点面计算的操作,但是要具体描述卷积的用途或者原理,是有点困难的。

2753
来自专栏机器之心

神经风格迁移研究概述:从当前研究到未来方向(附论文和代码)

选自arXiv 作者:Yongcheng Jing 等 机器之心编译 风格迁移是近来人工智能领域内的一个热门研究主题,机器之心也报道了很多相关的研究。近日,来...

2885

扫码关注云+社区