白话深度神经网络

近些年来,深度神经网络异常火爆,各种深度神经网络架构层出不穷。大有千树万树梨花开,各领风骚数小时的趋势!

但不管它结构如何改变,层数如何增加,始终离不开最基本的游戏规则:1.承载计算的节点,2.允许数据流动的连接,3.可变化的节点权重

下面我就以自己理解的视角,向大家揭开深度神经网络神秘的面纱。

首先,自问自答几个似乎哲学般存在的问题:

1.什么是深度神经网络?

有很多治学严谨的学者或科学家会给出一堆定义(从模拟人类大脑开始,巴拉巴拉),不过我相信你看完会和我的感受一样:到底什么是深度神经网络,请明白人给一个直观而感性的认识吧!求求你别饶了。

好!深度神经网络本质上是将输入数据离散化,将复杂的优化目标通过分段凸优化的策略,最终实现总体目标最优化的过程。

faint?说好的无障碍呢?不能甩出一句莫名其妙的话,在这里故弄玄虚呀?

2.什么是数据离散化?

这个问题简单:假设你输入的数据是0-5的连续自然数,可是我的计算能力有限,所以我设置6个输入节点(6次采样),分别是0,1,2,3,4,5

这就是将连续的数据离散化……

3.什么是凸优化?

这个问题也好说:就是将数据的分布看作是凸函数(不用查了,顾名思义一切凸起来的东西都可以看作凸函数),然后求最凸的那个点!

[:-)不要想歪了了哦]

当然正式的数学定义要严谨的多,其实我觉得在创新的过程中,应该容忍一些不严谨,否则浪费大量时间在严谨的论证上得不偿失。

4.怎么分段凸优化?

通过隐藏层间节点的连接实现分段,而凸优化采取的策略,其实就是梯度下降。(表现在深度神经网络里就是BP)

天哪噜!拔出萝卜带出泥!

好吧,

5.什么是梯度下降?

想象一个小人站在半山腰,他朝哪个方向跨一步,可以使他距离谷底更近(位置更低),就朝这个方向前进,就是梯度下降

ok,到此为止,我们有了一个似乎自我感觉良好的完备解释。

可是白话呢?

------------------------------------------------------------------------------------------------

白话的故事从这里开始,已经明白的读者朋友可以忽略下文了,以免浪费大家时间:

假设,你是一名画家,你想去描绘一张人脸,最常用的做法是怎么做?

1.先画轮廓;2.再逐步到五官;3.再逐步到五官上的细节;4.再逐步到皮肤纹理上色;

没错,其实深度学习也是这么干的,我们可以看看神经网络各层可视化的效果:

看起来有点恐怖,不过我相信聪明的你看到此图一定秒懂了。

理解还是有困难?我想主要思想应该没有困难了,大多数人可能还是细节上的理解,可能需要沉淀一下

深度学习是一个聪明的“画师”,他用自己有限的几种“画笔”,去描绘精彩的世界

------------------------------------------------------------------------------------------------

好了,胡说了一段故事之后,我们回到现实问题,暂时顾不上小白读者了

这也就是为什么对深度神经网络的训练可以使用DBN,因为层数太多,分段优化的策略不一定凑效,总体函数不一定收敛。

这也就很好的解释了DBN优化过程中,能量函数的设计为什么那么重要,因为首先这位“画师”要画好每一步的轮廓

所以,DBN的能量函数最好是凸函数,或者可以简单看作有限的几个凸函数叠加的结果,而DBN中RBM的层数不宜太多,RBM的优化目标必然是凸函数。

那么深度神经网络是否还有优化的余地呢?

当然可以:

1.画师很穷,有时候也很任性,输入层、隐藏层节点数量毫无道理的设置,想设几个全凭感觉(OMG,可以小小鄙视下)

这里笔者想到了使用PCA算法来确定各隐藏层的节点数量,姑且叫这个还未诞生的架构为深度PCA网络吧

2.画师也很有耐心,有时候这种坚持反而是一种固执,隐藏层数量多少全凭最终效果,可是天杀的数据集是有好有坏的,这种非要加工多少层的做法不仅固执,而且相当愚蠢,包子铺老板坐不住了,我做个包子还要上百道甚至上千道工序,杀了我吧(OMG,再鄙视下)

这里笔者想到隐藏层不要固定的做法,而是动态增加,姑且叫做dynamic hidden layer特性吧

原文发布于微信公众号 - IT技术精选文摘(ITHK01)

原文发表时间:2018-08-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CreateAMind

结构知识的泛化-从海马体学习的模型

38360
来自专栏大数据文摘

七张照片鉴别真假AJ?这家公司想教机器认识潮鞋

一家名为GOAT的潮鞋交易平台正尝试用机器学习,从七张照片中识别出一双鞋子是否是真的。

99320
来自专栏专知

【干货荟萃】机器学习&深度学习知识资料大全集(一)(论文/教程/代码/书籍/数据/课程等)

点击上方“专知”关注获取更多AI知识! 【导读】转载来自ty4z2008(GItHub)整理的机器学习&深度学习知识资料大全荟萃,包含各种论文、代码、视频、书籍...

86350
来自专栏机器之心

业界 | 微软提出新型通用神经机器翻译方法,挑战低资源语言翻译问题

28560
来自专栏机器学习算法与Python学习

数据科学家必用的25个深度学习的开放数据集!

原文:https://www.analyticsvidhya.com/blog/2018/03/comprehensive-collection-deep-le...

581140
来自专栏新智元

田渊栋:深度学习没有解决的理论问题(附 ICLR 论文 3 篇)

【新智元导读】Facebook 人工智能组研究员、围棋项目负责人田渊栋昨日在知乎专栏撰文,介绍投稿 ICLR2017 的三篇论文,其中两篇应用(包括获 Doom...

50170
来自专栏Albert陈凯

机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)

机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1) 注:机器学习资料篇目一共500条,篇目二开始更新...

49780
来自专栏灯塔大数据

人人都会用到的数据可视化之常用图表类型

文章介绍 “数据可视化”可以帮助用户理解数据,一直是热门方向。 图表是”数据可视化”的常用手段,其中又以基本图表——柱状图、折线图、饼图等等最为常用。 ? 用...

29860
来自专栏大数据文摘

追剧学AI (6) | 概率论在机器学习中的迁移运用,手把手建一个垃圾邮件分类器

16020
来自专栏深度学习入门与实践

【机器学习Machine Learning】资料大全

  昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^)   推荐几本好书: 1.Pattern Recogni...

75750

扫码关注云+社区

领取腾讯云代金券