深度学习入门教程 第三讲

1.3 神经网络的架构

在下一节我会介绍一个神经网络,我们可以用它来很好地分类手写数字。准备进入下一节时,解释一些可以让我们命名网络中不同部分的术语是很有帮助的。假设我们有这样的网络:

前面提过,这个网络中最左边的称为输入层,其中的神经元称为输入神经元。最右边的,即输出层包含有输出神经元,在本例中,输出层只有一个神经元。中间层,既然这层中的神经元既 不是输入也不是输出,则被称为隐藏层。“隐藏”这一术语也许听上去有些神秘 —— 我第一次听到这个词,以为它必然有一些深层的哲学或数学涵意 —— 但它实际上仅仅意味着“既非输入也 非输出”。上面的网络仅有一个隐藏层,但有些网络有多个隐藏层。例如,下面的四层网络有两 个隐藏层:

有些令人困惑的是,由于历史的原因,尽管是由 S 型神经元而不是感知机构成,这种多层网 络有时被称为多层感知机或者 MLP。在这本书中我不会使用 MLP 这个术语,因为我认为这会 引起混淆,但这里想提醒你它的存在。

设计网络的输入输出层通常是比较直接的。例如,假设我们尝试确定一张手写数字的图像上 是否写的是“9”。很自然地,我们可以将图片像素的强度进行编码作为输入神经元来设计网络。 如果图像是一个 64 × 64 的灰度图像,那么我们会需要 4096 = 64 × 64 个输入神经元,每个强 度取 0 和 1 之间合适的值。输出层只需要包含一个神经元,当输出值小于 0.5 时表示“输入图 像不是一个 9”,大于 0.5 的值表示“输入图像是一个 9”。

相比于神经网络中输入输出层的直观设计,隐藏层的设计则堪称一⻔艺术。特别是,通过一 些简单的经验法则来总结隐藏层的设计流程是不可行的。相反,神经网络的研究人员已经为隐 藏层开发了许多设计最优法则,这有助于网络的行为能符合人们期望的那样。例如,这些法则 可以用于帮助权衡隐藏层数量和训练网络所需的时间开销。在本书后面我们会碰到几个这样的 设计最优法则。

目前为止,我们讨论的神经网络,都是以上一层的输出作为下一层的输入。这种网络被称为前馈神经网络。这意味着网络中是没有回路的 —— 信息总是向前传播,从不反向回馈。如果确 实有回路,我们最终会有这样的情况:σ 函数的输入依赖于输出。这将难于理解,所以我们不允 许这样的环路。

然而,也有一些人工神经网络的模型,其中反馈环路是可行的。这些模型被称为循环神经网络。这种模型的设计思想,是具有休眠前会在一段有限的时间内保持激活状态的神经元。这种 激活状态可以刺激其它神经元,使其随后被激活并同样保持一段有限的时间。这样会导致更多的神经元被激活,随着时间的推移,我们得到一个级联的神经元激活系统。因为一个神经元的输出只在一段时间后而不是即刻影响它的输入,在这个模型中回路并不会引起问题。

循环神经网络比前馈网络影响力小得多,部分原因是循环网络的学习算法(至少目前为止) 不够强大。但是循环网络仍然很有吸引力。它们原理上比前馈网络更接近我们大脑的实际工作。 并且循环网络能解决一些重要的问题,这些问题如果仅仅用前馈网络来解决,则更加困难。然而为了篇幅,本教程将专注于使用更广泛的前馈网络。

原文发布于微信公众号 - UAI人工智能(UniversityAI)

原文发表时间:2017-10-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

算法太多挑花眼?教你如何选择正确的机器学习算法

机器学习既是一门科学,也是一种艺术。纵观各类机器学习算法,并没有一种普适的解决方案或方法。事实上,有几个因素会影响你对机器学习算法的选择。

910
来自专栏AI科技评论

干货 | 从零开始入门机器学习算法实践

人工智能热潮下,“大数据”、“机器学习”、“深度学习”热词屡见不鲜,但是想要真正掌握核心技术,势必要对机器学习算法有全面理解,这也是深入机器学习的必经之路。 为...

29710
来自专栏机器之心

前沿 | CNN取代RNN?当序列建模不再需要循环网络

在这篇博文中,我们来探讨循环网络模型和前馈模型之间的取舍。前馈模型可以提高训练稳定性和速度,而循环模型表达能力更胜一筹。有趣的是,额外的表现力似乎并没有提高循环...

1011
来自专栏CSDN技术头条

深度学习性能提升的诀窍

克服过拟合和提高泛化能力的20条技巧和诀窍 你是如何提升深度学习模型的效果? 这是我经常被问到的一个问题。 有时候也会换一种问法: 我该如何提高模型的准...

2928
来自专栏AI研习社

为什么『无监督集成学习』乏人问津?

终于有机会给大家聊聊每天折磨我的主题 - 无监督集成学习(Unsupervised Ensemble)。其实这是个很有意思的领域,但因为各种各样的原因一直都处于...

3256
来自专栏人工智能头条

模拟上帝之手的对抗博弈——GAN背后的数学原理

874
来自专栏数据科学与人工智能

【陆勤践行】机器学习分类器选择

你知道如何为你的分类问题选择合适的机器学习算法吗?当然,如果你真正关心准确率,那么最佳方法是测试各种不同的算法(同时还要确保对每个算法测试不同参数),然后通过交...

19310
来自专栏大数据挖掘DT机器学习

机器分类方法如何用在医学诊断案例——基于R的实现

1.引言 随着统计科学的日益发展,其对其他学科的渗透作用日益增强,数据分析方法在医学、生物学、社会学等各个学科中得到了广泛的应用,本文试图对收集到的某个临床医学...

2675
来自专栏AI2ML人工智能to机器学习

概率分布の三奥义

在 “免费: 大赏新书CASI” 里面斯坦福的优化大师Efron对统计的描述有一个三角形, 这个三角形的三个顶点分别是 频率派(Frequentist), 费希...

692
来自专栏大数据文摘

选择困难症?一文通解如何选择最合适的机器学习算法

1714

扫码关注云+社区