白话深度神经网络

近些年来，深度神经网络异常火爆，各种深度神经网络架构层出不穷。大有千树万树梨花开，各领风骚数小时的趋势！

但不管它结构如何改变，层数如何增加，始终离不开最基本的游戏规则：1.承载计算的节点，2.允许数据流动的连接，3.可变化的节点权重

下面我就以自己理解的视角，向大家揭开深度神经网络神秘的面纱。

首先，自问自答几个似乎哲学般存在的问题：

1.什么是深度神经网络？

有很多治学严谨的学者或科学家会给出一堆定义（从模拟人类大脑开始，巴拉巴拉），不过我相信你看完会和我的感受一样：到底什么是深度神经网络，请明白人给一个直观而感性的认识吧！求求你别饶了。

好！深度神经网络本质上是将输入数据离散化，将复杂的优化目标通过分段凸优化的策略，最终实现总体目标最优化的过程。

faint？说好的无障碍呢？不能甩出一句莫名其妙的话，在这里故弄玄虚呀？

2.什么是数据离散化？

这个问题简单：假设你输入的数据是0-5的连续自然数，可是我的计算能力有限，所以我设置6个输入节点（6次采样），分别是0,1,2,3,4,5

这就是将连续的数据离散化……

3.什么是凸优化？

这个问题也好说：就是将数据的分布看作是凸函数（不用查了，顾名思义一切凸起来的东西都可以看作凸函数），然后求最凸的那个点！

[:-)不要想歪了了哦]

当然正式的数学定义要严谨的多，其实我觉得在创新的过程中，应该容忍一些不严谨，否则浪费大量时间在严谨的论证上得不偿失。

4.怎么分段凸优化？

通过隐藏层间节点的连接实现分段，而凸优化采取的策略，其实就是梯度下降。(表现在深度神经网络里就是BP)

天哪噜！拔出萝卜带出泥！

好吧，

5.什么是梯度下降？

想象一个小人站在半山腰，他朝哪个方向跨一步，可以使他距离谷底更近（位置更低），就朝这个方向前进，就是梯度下降

ok，到此为止，我们有了一个似乎自我感觉良好的完备解释。

可是白话呢？

------------------------------------------------------------------------------------------------

白话的故事从这里开始，已经明白的读者朋友可以忽略下文了，以免浪费大家时间：

假设，你是一名画家，你想去描绘一张人脸，最常用的做法是怎么做？

1.先画轮廓；2.再逐步到五官；3.再逐步到五官上的细节；4.再逐步到皮肤纹理上色；

没错，其实深度学习也是这么干的，我们可以看看神经网络各层可视化的效果：

看起来有点恐怖，不过我相信聪明的你看到此图一定秒懂了。

理解还是有困难？我想主要思想应该没有困难了，大多数人可能还是细节上的理解，可能需要沉淀一下

深度学习是一个聪明的“画师”，他用自己有限的几种“画笔”，去描绘精彩的世界

------------------------------------------------------------------------------------------------

好了，胡说了一段故事之后，我们回到现实问题，暂时顾不上小白读者了

这也就是为什么对深度神经网络的训练可以使用DBN，因为层数太多，分段优化的策略不一定凑效，总体函数不一定收敛。

这也就很好的解释了DBN优化过程中，能量函数的设计为什么那么重要，因为首先这位“画师”要画好每一步的轮廓

所以，DBN的能量函数最好是凸函数，或者可以简单看作有限的几个凸函数叠加的结果，而DBN中RBM的层数不宜太多，RBM的优化目标必然是凸函数。

那么深度神经网络是否还有优化的余地呢？

当然可以：

1.画师很穷，有时候也很任性，输入层、隐藏层节点数量毫无道理的设置，想设几个全凭感觉（OMG，可以小小鄙视下）

这里笔者想到了使用PCA算法来确定各隐藏层的节点数量，姑且叫这个还未诞生的架构为深度PCA网络吧

2.画师也很有耐心，有时候这种坚持反而是一种固执，隐藏层数量多少全凭最终效果，可是天杀的数据集是有好有坏的，这种非要加工多少层的做法不仅固执，而且相当愚蠢，包子铺老板坐不住了，我做个包子还要上百道甚至上千道工序，杀了我吧（OMG，再鄙视下）

这里笔者想到隐藏层不要固定的做法，而是动态增加，姑且叫做dynamic hidden layer特性吧