对隐含层的感性认识

神经网络模型是个黑盒子

神经网络给人留下深刻的印象,但是它的表现让人有些琢磨不透。权重和偏置量能自动地学习得到,但是这并不意味着我们能立刻解释神经网络是怎么样得出的这些参数。现在仍然没人说清楚为什么某某节点的权重参数为什么取值为某个值,因此,从这个角度讲,神经网络模型是个黑盒子。

对隐含层的感性认识

提起神经网络,不得不说隐含层,光看名字就给人以神秘感,如何通俗易懂地认识隐含层到底是做什么的呢?

让我们从一个问题开始,假如区分以下三张图片哪个是人脸,也就是人脸识别,神经网络模型应该怎么建立呢?为了简单起见,输入层的每个节点代表图片的某个像素,个数为像素点的个数,输出层简单地定义为一个节点,标示是还是不是。

那么隐含层怎么分析呢? 我们先从感性地角度认识这个人脸识别问题,试着将这个问题分解为一些列的子问题,比如,

  • 在上方有头发吗?
  • 在左上、右上各有一个眼睛吗?
  • 在中间有鼻子吗?
  • 在下方中间位置有嘴巴吗?
  • 在左、右两侧有耳朵吗?
  • ...

假如对以上这些问题的回答,都是“yes”,或者大部分都是“yes”,那么可以判定是人脸,否则不是人脸。但是,这种判断忽略了某些特殊情况,比如某个人没有长头发,某个人的左半边脸被花丛遮挡了等等,等处在这些环境中时,这种方法的判断可能会有问题。

承上,将原问题分解为子问题的过程如果用神经网络来表达的话,可以这样表示,方框表示为某个子网络,

以上每个子网络,还可以进一步分解为更小的问题,比如判断左上是一个眼睛吗的问题,可以分解为:

  • 有眼球吗?
  • 有眼睫毛吗?
  • 有虹膜吗?
  • ......

因此,在左上是否有一个眼睛的子网络,可以进一步分解为如下:

以上,这个子网络还可以进一步分解,.一层又一层地分解,直到,回答的问题简单到能在一个单独的神经元上被回答。

深度神经网络

总结下这个过程,输入层是一些列的像素节点,然后刚开始这些层回答了关于输入像素点的很简单、很具体的问题,然后经过很多层,建立了更复杂和抽象的概念,这种带有两个或多个隐含层的神经网络,称为深度神经网络,deep neural networks,简称为 DNN。

训练神经网络常用的技术包括,批梯度下降(SGD),反向传播(BP算法),再后来基于此,提出了很多好的想法,人们现在能训练的隐含层数已经越来越多,并且结果也表明,对很多现实问题,深层次的网络比浅层次的网络效果更好,原因便是深度神经网络建立了更加复杂的体系结构,这样得到的结果会更理想。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Coding迪斯尼

深度学习:透过神经网络的内在灵活与柏拉图的哲学理念

1223
来自专栏Python中文社区

Python机器学习算法入门之梯度下降法实现线性回归

專 欄 ❈ ZZR,Python中文社区专栏作者,OpenStack工程师,曾经的NLP研究者。主要兴趣方向:OpenStack、Python爬虫、Pytho...

2205
来自专栏大数据挖掘DT机器学习

神经网络训练中的Tricks之高效BP(反向传播算法)

Tricks!这是一个让人听了充满神秘和好奇的词。对于我们这些所谓的尝试应用机器学习技术解决某些问题的人,更是如此。曾记得,我们绞尽脑汁,搓手顿足,大喊“为什...

3006
来自专栏人工智能头条

深度学习在自然语言处理中的应用

1644
来自专栏数据科学与人工智能

【陆勤践行】面试之机器学习算法思想简单梳理

找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且...

1988
来自专栏人工智能头条

神经网络训练中的Tricks之高效BP(反向传播算法)

1143
来自专栏大数据挖掘DT机器学习

机器学习算法总结(面试用到)

找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习...

5779
来自专栏大数据挖掘DT机器学习

在深度学习TensorFlow 框架上使用 LSTM 进行情感分析

在这篇教程中,我们将介绍如何将深度学习技术应用到情感分析中。该任务可以被认为是从一个句子,一段话,或者是从一个文档中,将作者的情感分为积极的,消极的或者中性的。...

5697
来自专栏大数据挖掘DT机器学习

机器学习算法总结(面试用到)

找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据...

3575
来自专栏红色石头的机器学习之路

台湾大学林轩田机器学习基石课程学习笔记12 -- Nonlinear Transformation

上一节课,我们介绍了分类问题的三种线性模型,可以用来解决binary classification和multiclass classification问题。本节...

2130

扫码关注云+社区