基于Python的深层神经网络

什么是Python深层神经网络?

在了解深层神经网络是什么之前,让我们先了解一下人工神经网络。

人工神经网络

ANN(人工神经网络)受生物神经网络的启发。它可以通过观察示例来学习执行任务,我们不需要使用特定于任务的规则对它们进行编程。 ANN可以查看标记为“猫”或“无猫”的图像,并学习识别更多图像本身。

这样的网络是人工神经元连接节点的集合,生物大脑中的这些模型神经元。连接就像大脑中的突触,能够将信号从一个人工神经元传递到另一个人工神经元。 这个神经元处理它接收到的信号,并向它连接的更多人工神经元发出信号。

这样,我们就可以有输入、输出和隐藏层。

人工神经网络在计算机视觉、语音识别、机器翻译、社会网络过滤、医学诊断、棋盘和电子游戏等领域有着广泛的应用。

深层神经网络

深层神经网络是一种在输入层和输出层之间有多个层的神经网络。这样的网络在多个层中筛选并计算每个输出的概率。

DNN能够模拟复杂的非线性关系。

深层神经网络的结构

DNN通常是前馈网络,这意味着数据从输入层流到输出层,而不返回。

这种只有一个隐层的网络将是一个非深(或浅)的前馈神经网络。但是在深层神经网络中,隐藏层的数量可以说是1000层。但它必须大于2才能被认为是DNN。

DNN创建虚拟神经元的映射,并随机分配权重给这些神经元之间的连接。它将权重与输入相乘,以返回0到1之间的输出。如果它不能识别一个模式,它使用一个算法来调整权重。

深层神经网络的类型

广义上,我们可以将深层神经网络分为两类:

递归神经网络

递归神经网络是一种人工神经网络,其节点之间的连接沿着序列形成有向图。RNN可以使用内部状态/内存来处理输入序列。因此,我们可以将它用于非分割、连接手写识别和语音识别等任务。RNN的种类:

· 有限脉冲递归网络:一种有向无环图(DAG),可以用严格的前馈神经网络代替。

· 无限脉冲递归网络:一个我们无法展开的有向循环图。

一个基本的RNN是一个由神经元组成的网络,在这个网络中,一个层中的每一个节点都单向地连接到下一层中的每一个其他节点。在RNN中,数据可以向任意方向流动。我们利用LSTM(长期短期内存),并在语言建模等应用程序中使用RNN。

卷积神经网络(CNN或ConvNet)

CNN是一种深层次的神经网络,是前馈的。我们将它用于分析视觉图像、计算机视觉、用于自动语音识别(ASR)的声学建模、推荐系统和自然语言处理(NLP)等应用。

CNN使用多层感知器进行最小预处理。在这样的网络中,神经元之间的连接模式模仿动物视觉皮层的组织方式。CNN学习过滤器,因此几乎不需要预处理。它具有以下体系结构:

深层神经网络面临的挑战

发展网络面临两大挑战:

过度拟合

由于DNN具有更多的抽象层,所以它可以对训练数据中的稀有依赖进行建模。为了解决这个问题,我们可以:

· 使用正则化的方法。

· 在训练时,使用正则化从隐藏层中随机省略单元。

· 使用裁剪和旋转等方法来增加数据,扩大较小的训练集。

计算时间

要浏览参数空间(大小、学习速率、初始权重),可能需要更多的计算资源和时间。为了解决这一问题,我们可以:

· 执行批处理,一次计算多个训练示例的梯度。

· 使用多个核心架构,因为它们具有很大的处理能力,并且适合于矩阵和矢量计算。

深层信念网络

在我们开始退出之前,让我们再谈一件事-深度信念网络。DBN是一种包含多层潜在变量或隐藏单元的深度神经网络。这样的网络观察层之间的连接,而不是这些层上的单元之间的连接。

如果我们在一组没有监督的例子上训练一个DBN,我们可以让它学会重建输入概率。你可以调用图层特征检测器。在此之后,我们可以通过监督培训来进行分类。

所以,这都是在Python的深层神经网络中完成的。

结论

在这篇深度神经网络文章中,我们研究了深度学习,它的类型,面临的挑战以及深度信念网络。

原文标题《Deep Neural Networks With Python》

作者:Rinu Gour

译者:lemon

不代表云加社区观点,更多详情请查看原文链接

原文链接:https://dzone.com/articles/deep-neural-networks-with-python

原文作者:Rinu Gour

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【干货】基于注意力机制的神经匹配模型用于短文本检索

【导读】在基于检索的问答系统中,很重要的一步是将检索到的答案进行排序得到最佳的答案。在检索到的答案比较短时,对答案进行排序也成为了一个难题。使用深度学习的方法,...

85680
来自专栏编程

python常用可视化技巧

向AI转型的程序员都关注了这个号 大数据挖掘DT数据分析 公众号: datadw 我们在对数据进行预处理时,常常需要对数据做一些可视化的工作,以便能更清晰的认...

25090
来自专栏华章科技

给初学者的深度学习简介

深度学习是计算机领域中目前非常火的话题,不仅在学术界有很多论文,在业界也有很多实际运用。本篇博客主要介绍了三种基本的深度学习的架构,并对深度学习的原理作了简单的...

16040
来自专栏梦里茶室

CVPR2018: Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatio-tempora

CVPR2018: Unsupervised Cross-dataset Person Re-identification by Transfer Learni...

77670
来自专栏机器之心

就喜欢看综述论文:情感分析中的深度学习

67590
来自专栏机器之心

OpenAI新研究发现无监督情感神经元:可直接调控生成文本的情感

选自OpenAI 作者:Alec Radford等 机器之心编译 参与:吴攀 近日 OpenAI 公布了一项新研究,介绍了一种可以学习情感表征的无监督式的系统,...

33550
来自专栏人工智能LeadAI

判别模型和生成模型

原文链接:https://www.jianshu.com/p/e57aabf32c18

16040
来自专栏华章科技

94页论文综述卷积神经网络:从基础技术到研究前景

导读:卷积神经网络(CNN)在计算机视觉领域已经取得了前所未有的巨大成功,但我们目前对其效果显著的原因还没有全面的理解。近日,约克大学电气工程与计算机科学系的 ...

8120
来自专栏机器之心

教程 | 可视化CapsNet,详解Hinton等人提出的胶囊概念与原理

选自freecodecamp 作者:Nick Bourdakos 机器之心编译 参与:Pedro、思源 CapsNet 将神经元的标量输出转换为向量输出提高了表...

43050
来自专栏悦思悦读

「机器学习」学到多深够用?

机器学习现在热得一塌糊涂,码农要是不会点机器学习,都不好意在IT界混了。 机器学习难吗?一大堆公式,好像很难的样子。不过,看人家用起来,也不过就是下载几个软件...

30760

扫码关注云+社区

领取腾讯云代金券