【学术】在机器学习中经常使用的6种人工神经网络

人工神经网络是是类似于人类神经系统功能的计算模型。有几种人工神经网络是基于数学运算和确定输出所需的一组参数来实现的。让我们来看看吧:

1.前馈神经网络-人工神经元

这个神经网络是人工神经网络最简单的形式之一,它的数据或输入是单向的。数据通过输入节点并在输出节点上退出。这个神经网络可能有隐藏层,也可能没有隐藏层。简单地说,通常使用分类激活函数,它具有前传播波而无反向传播。

下面是一个单层前馈网络。在这里,输入和权重的乘积之和被计算出来并输出到输出。输出被认为是否超过某个值,即阈值(通常为0),神经元以激活的输出(通常为1)激发,如果不激活,则激活的值被发射(通常为-1)。

前馈神经网络在计算机视觉和语音识别中的应用,对目标类的分类是复杂的。这些神经网络对噪声数据敏感,易于维护。本文介绍了前馈神经网络的使用情况。x射线图像融合是基于边缘叠加两个或多个图像的过程。这是一个视觉描述。

2.径向基函数神经网络

径向基函数考虑一个点对中心的距离。RBF函数有两层,首先将特征与内部层的径向基函数结合在一起,然后在下一个时间步计算相同的输出时考虑这些特征的输出,这基本上是一个存储器。

下面是一个图表,它表示从中心到平面的一个点的距离,类似于圆的半径。这里,也可以使用欧几里德距离度量中使用的距离度量。该模型在将各点划分为不同的类别时,依赖于圆的最大值或半径。如果该点位于半径内或附近,新点开始分类到该类别的可能性很高。从一个区域到另一个区域的变化可能会有一个转变,而这可以由beta函数来控制。

该神经网络已应用于电力恢复系统。电力系统的规模和复杂性都在增加。这两个因素都增加了大停电的风险。在停电之后,电力需要尽快和可靠地恢复。本文介绍了RBF神经网络在该领域的应用。

电力恢复通常按以下顺序进行:

—第一要务是恢复社区基本客户的权力。这些客户为所有人提供医疗保健和安全服务,首先回复他们的权利,使他们能够帮助其他人。基本客户包括医疗设施、学校董事会、重要的市政基础设施、警察和消防服务。

—然后专注于为更多客户服务的主要电力线路和变电站。

—给维修带来更高的优先级,将使最大数量的客户尽快恢复服务。

—然后将电力恢复到较小的社区、个人住宅和企业的电源。

下图显示了电力恢复系统的典型顺序:

参照图表,首先要解决传输线上A点的问题。有了这条线路,所有的房子都不能恢复供电。接下来,解决变电站外主配电线上的问题B。房屋2、3、4和5都受到这个问题的影响。接下来,将线路固定在C点,影响4号和5号房屋。最后,我们将D线的服务线固定到房屋1。

3.Kohonen自组织神经网络

Kohonen地图的目标是将任意维度的向量输入到由神经元组成的离散映射中。地图需要训练来创建自己的训练数据组织。它由一个或两个维度组成。在训练地图时,神经元的位置保持不变,但权重因数值不同而不同。这个自组织过程有不同的部分,在第一阶段,每个神经元的值都是用一个小的权重和输入向量来初始化的;在第二阶段,最接近该点的神经元是“获胜的神经元”,与获胜神经元相连的神经元也将向下移动,如下图所示。点与神经元之间的距离是由欧几里德距离计算,距离最远的神经元获胜。通过迭代,所有的点都聚集在一起,每个神经元代表每一种集群。这是Kohonen神经网络组织的主旨。

Kohonen神经网络用于识别数据中的模式。其应用可以在医学分析中找到,以将数据聚类成不同的类别。Kohonen地图能够对具有高准确度的肾小球或肾管患者进行分类。这里是如何使用欧几里德距离算法对其进行数学分类的详细解释。下图展示了健康和患有肾小球的人之间的比较。

4.递归神经网络(RNN) -长期短期记忆

递归神经网络的工作原理是保存一层的输出,并将其反馈给输入,以帮助预测该层的结果。

这里,第一层形成类似于前馈神经网络的权重和特征之和的乘积。一旦计算出这个循环的神经网络过程就开始了,这意味着从一个时间步到下一个时间点,每个神经元都会记住它在上一个时间步中的一些信息。这使得每个神经元在执行计算时表现得像一个记忆细胞。在这个过程中,我们需要让神经网络在前面的传播中工作,并记住它需要什么信息,以便以后使用。在这里,如果预测是错误的,我们就利用学习速率或误差修正来做出微小的改变,以便在反向传播过程中逐渐做出正确的预测。这就是一个基本的递归神经网络。

递归神经网络的应用可以在语音(TTS)转换模型中找到。本文介绍了在加州百度人工智能实验室开发的Deep Voice。它是受传统的文本到语音结构的启发,用神经网络代替所有的组件。首先,将文本转换为“音素”,音频合成模型将其转换为语音。RNN也在Tacotron 2中实现:人类喜欢通过文本转换的语音。我们可以从下面看到:

5.卷积神经网络

卷积神经网络类似于前馈神经网络,其神经元具有可学习的权重和偏差。在计算机视觉领域,它的应用已经在计算机视觉领域承担OpenCV的信号和图像处理。

下面是一个ConvNet的表示,在这个神经网络中,输入特性像一个过滤器一样分批被采取的。这将帮助网络记住部件中的图像,并能够计算操作。这些计算涉及将图像从RGB或HIS尺度转换成灰度。一旦我们有了这个,像素值的变化将帮助检测边缘和图像可以划分为不同的类别。

ConvNet应用于信号处理和图像分类技术等技术。由于图像分类的准确性,计算机视觉技术由卷积神经网络占主导地位。从像LSAT这样的开源卫星中提取农业和气象特征的图像分析和识别技术正在得到实施。

6.模块化神经网络

模块化神经网络具有独立工作的不同网络集合,并对输出有贡献。每个神经网络都有一组与其他网络构造和执行子任务相比较的输入。这些网络在完成任务时不会相互作用或发出信号。模块化神经网络的优点是将大型的计算过程分解成较小的组件,从而降低了复杂性。这种分解将有助于减少连接的数量,并消除这些网络之间的相互作用,从而提高计算速度。然而,处理时间将取决于神经元的数量以及它们对计算结果的参与程度。

下面是一个视觉表现:

模块化神经网络(MNN)是人工神经网络研究中一个快速发展的领域。本文研究了创建MNN的不同动机:生物、心理、硬件和计算。然后,对MNN设计的一般阶段进行了概述和调查,即任务分解技术、学习方案和多模块决策策略。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-01-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | CVPR 2017最新论文:使用VTransE网络进行视觉关系检测

选自arxiv.org 机器之心编译 参与:李亚洲、吴攀 知识表示学习的思想(TransE)已经被成功应用于视觉关系提取(Visual Relation Ex...

3617
来自专栏CDA数据分析师

提问 | 如何利用一批去年的数据,来预测未来三年的数据?

文 | 邹日佳 来自知乎 1、这批去年的数据是按月份的,本身肯定会有波动,但相对稳定。 2、预测未来三年的数据是需要具体到月份。恩 3、请问有什么统计方法可以做...

2139
来自专栏新智元

ICLR2019七大争议论文:是评审不公,还是论文真不行

由 LeCun 和 Bengio 等人联合发起的深度学习顶会 ICLR,今年你投稿了吗?

1154
来自专栏Petrichor的专栏

深度学习: 迁移学习 (Transfer Learning)

但是如果 新任务 和旧任务类似,同时 新任务 缺乏足够数据 去从头训练一个新模型,那该怎么办呢?

5002
来自专栏大数据文摘

Kaggle大赛:债务违约预测冠军作品解析

4013
来自专栏专知

强化学习:Policy-based方法 Part 1

【导读】在前面两篇文章中,我们完成了基于值的(value-based)强化学习算法,可以在给定的环境下选择相应动作,并根据最高的Q-value来确定下一步的动作...

1266
来自专栏新智元

苹果重磅推出AI技术博客,CVPR合成逼真照片论文打响第一枪

【新智元导读】 苹果刚刚推出一个名为 Apple Machine Learning Journal 的新研究博客,第一篇文章介绍了他们的CVPR论文,提出一种改...

3418
来自专栏IT技术精选文摘

OCR检测与识别技术

1K9
来自专栏机器之心

人人都能读懂的无监督学习:什么是聚类和降维?

选自Medium 作者:Vishal Maini 机器之心编译 参与:Panda 机器学习已经成为了改变时代的大事,一时间似乎人人都应该懂一点机器学习。但机器学...

31410
来自专栏TensorFlow从0到N

TensorFlow从1到2 - 1 - 深度神经网络

上一主题《TensorFlow从0到1》介绍人工神经网络的基本概念与其TensorFlow实现,主要基于浅层网络架构,即只包含一个隐藏层的全连接(FC,F...

46611

扫码关注云+社区