深度学习|对隐含层的感性认识

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来!

01

神经网络模型是个黑盒子

神经网络给人留下深刻的印象,但是它的表现让人有些琢磨不透。权重和偏置量能自动地学习得到,但是这并不意味着我们能立刻解释神经网络是怎么样得出的这些参数。现在仍然没人说清楚为什么某某节点的权重参数为什么取值为某个值,因此,从这个角度讲,神经网络模型是个黑盒子。

02

对隐含层的感性认识

提起神经网络,不得不说隐含层,光看名字就给人以神秘感,如何通俗易懂地认识隐含层到底是做什么的呢?

让我们从一个问题开始,假如区分以下三张图片哪个是人脸,也就是人脸识别,神经网络模型应该怎么建立呢?为了简单起见,输入层的每个节点代表图片的某个像素,个数为像素点的个数,输出层简单地定义为一个节点,标示是还是不是。

那么隐含层怎么分析呢? 我们先从感性地角度认识这个人脸识别问题,试着将这个问题分解为一些列的子问题,比如,

  • 在上方有头发吗?
  • 在左上、右上各有一个眼睛吗?
  • 在中间有鼻子吗?
  • 在下方中间位置有嘴巴吗?
  • 在左、右两侧有耳朵吗?
  • ...

假如对以上这些问题的回答,都是“yes”,或者大部分都是“yes”,那么可以判定是人脸,否则不是人脸。但是,这种判断忽略了某些特殊情况,比如某个人没有长头发,某个人的左半边脸被花丛遮挡了等等,等处在这些环境中时,这种方法的判断可能会有问题。

承上,将原问题分解为子问题的过程如果用神经网络来表达的话,可以这样表示,方框表示为某个子网络,

以上每个子网络,还可以进一步分解为更小的问题,比如判断左上是一个眼睛吗的问题,可以分解为:

  • 有眼球吗?
  • 有眼睫毛吗?
  • 有虹膜吗?
  • ......

因此,在左上是否有一个眼睛的子网络,可以进一步分解为如下:

以上,这个子网络还可以进一步分解,.一层又一层地分解,直到,回答的问题简单到能在一个单独的神经元上被回答。

03

深度神经网络

总结下这个过程,输入层是一些列的像素节点,然后刚开始这些层回答了关于输入像素点的很简单、很具体的问题,然后经过很多层,建立了更复杂和抽象的概念,这种带有两个或多个隐含层的神经网络,称为深度神经网络,deep neural networks,简称为 DNN。

训练神经网络常用的技术包括,批梯度下降(SGD),反向传播(BP算法),再后来基于此,提出了很多好的想法,人们现在能训练的隐含层数已经越来越多,并且结果也表明,对很多现实问题,深层次的网络比浅层次的网络效果更好,原因便是深度神经网络建立了更加复杂的体系结构,这样得到的结果会更理想。

原文发布于微信公众号 - 算法channel(alg-channel)

原文发表时间:2017-12-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CVer

[计算机视觉论文速递] 2018-07-10 CVPR GAN专场1

这篇文章有 2篇论文速递,都是生成对抗网络GAN方向(CVPR 2018),一篇解决为前景目标找到逼真的几何校正的问题,使得它在合成到背景图像中时看起来很自然,...

17830
来自专栏AI研习社

NVIDIA 论文:用 GAN 生成高清图像 | ICLR 2018

虽然 ICLR 2018 将公开评审改成了评审人和作者相互不知道双方信息的双盲评审,但论文的投稿者仍然可以通过其他公开渠道对其论文进行推广。尤其对于大公司研究院...

49360
来自专栏CVer

[计算机视觉论文速递] 2018-03-14

通知:这篇推文有18篇论文速递信息,涉及图像分割、目标检测、图像分类、显著性检测、姿态估计和GAN等方向 前文回顾: [计算机视觉] 入门学习资料 [计算机视...

478150
来自专栏AI科技评论

学界丨生成对抗网络(GANs )为什么这么火?盘点它自 2014 年以来的主要技术进展

两年前,蒙特利尔大学 Ian Goodfellow 等学者提出“生成对抗网络”(Generative Adversarial Networks,GANs)的概念...

422100
来自专栏从流域到海域

A Gentle Introduction to Applied Machine Learning as a Search Problem (译文)

A Gentle Introduction to Applied Machine Learning as a Search Problem 浅谈应用型机器学习作...

27760
来自专栏CreateAMind

用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践

近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的...

64720
来自专栏天天P图攻城狮

由生成模型到domain迁移:GAN、CGAN、StarGAN、CycleGAN、AsymmetricCycleGAN

最近看一篇CVPR2018文章PairedCycleGAN: Asymmetric Style Transfer for Applying and Remov...

81610
来自专栏漫漫深度学习路

Andrew NG 在2016 NIPS 上tutorial 简单总结

Andrew NG 在2016 NIPS 上tutorial 简单总结 水平有限,如有错误,请不吝指正,谢谢! 视频地址youtube 神经网络已经出现很多...

20460
来自专栏CVer

[计算机论文速递] 2018-03-23

通知:这篇文章有15篇论文速递信息,涉及目标检测、目标跟踪、姿态估计、SLAM、GAN、行为识别、去雾、网络优化等方向 创办CVer公众号,渐渐半个多月了,很感...

430170
来自专栏新智元

台湾学者研发新型二元神经元GAN!有望用于AI作曲

中国台湾的研究人员最近开发了一种新型生成对抗网络(GAN),在其生成器的输出层设计了二元神经元。该模型已经预先在arXiv上发表的论文中提出,可以直接在测试时生...

8920

扫码关注云+社区

领取腾讯云代金券