深度学习和神经网络的六大趋势

神经网络的基本思想是模拟计算机“大脑”中的多个相互关联的细胞,这样它就可以从环境中学习、识别不同的模式,并做出与人类相似的决定。

一个基本的神经网络包含大约数百万的人工神经元,称为单元(unit)。这些单元按层排列,每一层连接到另一侧。这些单元划分如下:

1. 输入单元-旨在从外部环境接收信息。

2. 隐藏单元-最终输入到输出单位,每个隐藏单元都是其输入的压缩线性函数。

3. 输出单元-这些信号网络应该如何响应最近获取的信息。

大多数的神经网络是“全连通“的。这意味着每个隐藏单元和每个输出单元都连接到该层另一侧的每个单元。每个单元之间的联系称为“权重”。权重可以是正的,也可以是负的,这取决于它对另一个单位的影响程度。

当神经网络被训练时,不同的输入单元将不同的信息模式馈送到网络中。这些会触发之后到达输出单元的隐藏层。这被称为前馈网络是常用的设计之一。 在你使用不同的学习示例对神经网络进行充分训练之后,它就会到达一个阶段,在该阶段可以呈现一组全新的输入,这些输入在训练阶段没有遇到,并且它可以预测出令人满意的输出。

以下是神经网络和深度学习的一些重要趋势。

胶囊网络

胶囊网络是一种新兴的深层神经网络形式。它们以类似于人脑的方式处理信息。这实质上意味着胶囊网络可以维持层次关系。

这与卷积神经网络形成对比。尽管卷积神经网络是迄今为止最广泛使用的神经网络之一,但它们未能考虑简单和复杂对象之间存在的关键空间层次结构。这导致错误分类和更高的错误率。

在进行简单的识别任务时,胶囊网络提供更高的准确度,同时减少错误数量。并且他们也不需要大量的培训模型数据。

深度强化学习(DRL)

深度强化学习是神经网络的一种形式,它通过观察、行动和奖励与环境交流来学习。DRL已经被成功地用于确定游戏策略,比如Atari和Go。著名的AlphaGo项目被用来击败人类冠军,而且也取得了成功。

DRL是必不可少的,因为它是你可以用于开发业务应用程序的最通用的学习技术之一。培训模式所需的数据也要少得多。另一个优点是你可以通过模拟来训练它。这完全消除了标记数据的需要。

增强学习

到目前为止,机器学习的最大障碍,尤其是深度学习,是用于训练神经模型的大量标记数据的可用性。有两种技术可以帮助解决这一问题-合成新数据并将任务A的训练模型转移到任务B。

转移学习(将学习从一个任务转移到另一个任务)或一次性学习(只用一个或没有相关示例进行学习)等技术使它们成为精益数据学习技术。类似地,当使用插值或模拟来合成新数据时,它有助于获得更多训练数据。 ML专家通常将此称为增强现有数据以改善学习。

诸如此类的技术可用于解决更广泛的问题,尤其是在存在较少历史数据的情况下。

监督模型

监督模型是一种学习形式,它从以前标记的训练数据中推断出特定的功能。它使用一种有监督的学习算法,该算法包含一组具有相应标记的正确输出的输入。

将标记输入与标记输出进行比较。鉴于两者之间的差异,您可以计算错误值,然后使用算法来学习输入和输出之间的映射。

最终目标是近似映射函数,如果接收到新的输入数据,则可以预测精确的输出数据。类似于教师监督学习过程的情况,当算法达到令人满意的性能或准确性时,学习过程停止。

带记忆模型的网络

区分人类和机器的一个重要方面是工作和思考的能力。毫无疑问,计算机可以预先编程,以极高的精度完成一项特定的任务。但是,当你需要它们在不同的环境中工作时,就会出现问题。

为了使机器能够适应现实世界的环境,神经网络必须能够在不遗忘的情况下学习顺序任务。神经网络需要借助多种强大的体系结构来克服遗忘。这些可以包括:

1.长期内存网络,可以处理和预测时间序列

2.弹性权重合并算法,可以根据先前完成的任务定义的优先级减慢学习速度

3.不受遗忘影响的渐进式神经网络,能够从已经学过的网络中提取有用的特征,以用于新的任务。

混合学习模型

各种类型的深度神经网络,包括GANs和DRL,在性能方面表现出了很大的潜力,并在不同类型的数据中得到了广泛的应用。也就是说,深度学习模型无法以贝叶斯或概率方法的方式对不确定性进行建模。

混合学习模型可以将这两种方法结合起来,并利用这两种方法的优点。这种混合模型的一些例子包括贝叶斯GANs和贝叶斯条件GANs。

混合学习模型允许扩展可解决的业务问题范围,包括具有不确定性的深度学习。这将允许更高的性能以及模型的可解释性,这可以鼓励更广泛的采用。

概要

人工智能为新时代奠定了基础,许多技术上的突破都是建立在这一基础之上的。在这篇文章中,我们已经介绍了深度学习和神经网络的一些显著趋势。自动驾驶汽车结合使用多种模型,如深度加强学习和卷积神经网络,进行视觉识别。

我们可能错过了许多其他值得注意的趋势。你认为深度学习和神经网络的显着趋势是什么?请在评论区分享你的观点。

原文标题《Top 6 Notable Trends in Deep Learning and Neural Networks》

作者:Manjunath M

译者:lemon

不代表云加社区观点,更多详情请查看原文链接

原文链接:https://dzone.com/articles/top-6-notable-trends-in-deep-learning-and-neural-n

原文作者:Manjunath M

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【干货】用反卷积网络合成超逼真人脸:理解深度学习如何思考

【新智元导读】本文中介绍的深度学习架构能够基于选定的人的身份、情绪和方位,生成真实的脸部图像。你只要给网络提供你希望描绘的东西的原始参数,模型就能完成,但是生成...

5276
来自专栏人工智能

机器学习教程:朴素贝叶斯文本分类器

在本教程中,我们将讨论朴素贝叶斯文本分类器。朴素贝叶斯是最简单的分类器之一,只涉及简单的数学表达,并且可以使用PHP,C#,JAVA等语言进行编程。

2779

何时使用线性回归,聚类或决策树

决策树,聚类和线性回归算法之间的差异已经在很多文章中得到了说明(比如这个和这个)。但是, 在哪里使用这些算法并不总是很清楚。通过这篇博文,我将解释在哪里可以使用...

3268
来自专栏新智元

如何评价周志华深度森林模型,热议会否取代深度学习 DNN

【新智元导读】昨天,新智元报道了南京大学周志华教授和冯霁的论文“深度森林”,引发很多讨论。今天,新智元整理了网上一些评价。中文内容来自知乎,已经取得授权。外网内...

4285
来自专栏小小挖掘机

推荐系统遇上深度学习(十一)--神经协同过滤NCF原理及实战

好久没更新该系列了,最近看到了一篇关于神经协同过滤的论文,感觉还不错,跟大家分享下。

6284
来自专栏机器之心

学界 | 从文本挖掘综述分类、聚类和信息提取等算法

选自arXiv 机器之心编译 参与:机器之心编辑部 文本挖掘一直是十分重要的信息处理领域,因为不论是推荐系统、搜索系统还是其它广泛性应用,我们都需要借助文本挖掘...

4825
来自专栏AI研习社

智能手机哪家强?实时人像分割大比拼!

近年来,各种图像效果越来越受到人们的关注。散景一个很受欢迎的例子是在图像的非聚焦范围进行虚化。这个效果由快速镜头大光圈实现。不幸的是,手机摄像头很难实现这种效果...

1982
来自专栏人工智能

如何提高深度学习的性能

您可以使用这20个提示,技巧和技术来解决过度拟合问题并获得更好的通用性

6887
来自专栏新智元

谷歌放大招!数据增强实现自动化

1992
来自专栏专知

你可能不知道的7个深度学习实用技巧

【导读】前几天,深度学习工程师George Seif发表了一篇博文,总结了7个深度学习的技巧,主要从提高深度学习模型的准确性和速度两个角度来分析这些小技巧。在使...

3734

扫码关注云+社区

领取腾讯云代金券