深度学习探秘之二：什么是神经网络

上文我们用一个分别男女的问题挖了一个机器学习的大坑，这篇文章我需要做的事情就是把坑填上，并且引出我们真正的主角——深度神经网络。注意，本文开始会涉及到一些数学知识了，数学不好的朋友们要坐稳了。

上次我们说到通过一系列的数据来学习得到一种规律，使得这种规律在遇到新的数据时，能够预测出一个结果。林老师曾经举了个栗子是关于银行发信用卡的，我还是拿我的男女问题来说事，不过需要套用一下他的图。

我们假设男女问题可以通过一个公式来判断，输入一个人的数据x，从而得到一个y，这个y如果大于某个临界值，这人就是男的，如果小于某个临界值，这人就是女的(如果真有这样的一个公式，该多美妙，那么我们很多男网友就不会被某个抠脚大叔骗了)。我们管这个公式叫做目标函数f，他是一个未知的，需要通过已有的数据D经过学习训练得到（比如，爱买数码产品还是化妆品、爱打游戏还是爱逛街等等）。而我们还需要一个学习算法A和一组候选的公式H。最终我们将得到一个g，g来自于H。虽然g不是完全等于我们要求的f，但是我们可以通过g获得和f差不多的效果，g是最接近f的规则，也就是说g是起作用的。

下面我们就要构造一个可以选出正确g的H，具体会怎么做呢？首先我们的训练数据包含x和y，x是代表用户的特征属性数据，y代表性别结果（比如0是女性，1是男性）。x不是一个简单的数，实际上是一组向量，向量的维度跟我们能拿到的特征属性种类有关。我们拿到了n种特征属性，那么x的维度就是n。

我们要求的上面的这个男女规则，实际上就变成判断结果减去阈值后是否大于零。那么我们要的这个H可以考虑为这样的一个h(x),即判断属性数据的每一个维度和他们的权重w经过计算后减去阈值得到的结果的符号是正还是负。图中的sign函数就是一个符号函数。

所以经过图中的推导，得到最后我们的H实际上是一个权重W向量和属性X向量的内积。那么假如维度是2，上述规则实际上就变成了二维平面上的一条线，他经过的地方恰好将两种性别分开了。（注意，我这里偷懒画了一条直线，但实际上可能是条曲线）

神奇吧？那么聪明的你一定想到了，如果维度为3，那么分类问题也就是找出在三维空间的一个面。如果维度再高呢？可能是个球。再高呢？我们脑子想象不出来了，但原理是一样的，反正计算机能处理。

好了，由此我们可以引出一种叫做感知器的结构如下图，他就是我们要将的神经网络的组成部分，所以他又叫神经元。

这张图里面的大部分您可能都知道了，但是激活函数是个什么鬼？好吧，我又挖了一个坑，留待下篇文章讲述。而且我们还将探讨损失函数、反向传播算法等等好（shen）玩(ao)的知识，不想下车的朋友赶快关注公众号吧。

最后放一张我画的深度网络结构示意图，有点丑勿喷。