深度学习探秘之二:什么是神经网络

上文我们用一个分别男女的问题挖了一个机器学习的大坑,这篇文章我需要做的事情就是把坑填上,并且引出我们真正的主角——深度神经网络。注意,本文开始会涉及到一些数学知识了,数学不好的朋友们要坐稳了。

上次我们说到通过一系列的数据来学习得到一种规律,使得这种规律在遇到新的数据时,能够预测出一个结果。林老师曾经举了个栗子是关于银行发信用卡的,我还是拿我的男女问题来说事,不过需要套用一下他的图。

我们假设男女问题可以通过一个公式来判断,输入一个人的数据x,从而得到一个y,这个y如果大于某个临界值,这人就是男的,如果小于某个临界值,这人就是女的(如果真有这样的一个公式,该多美妙,那么我们很多男网友就不会被某个抠脚大叔骗了)。我们管这个公式叫做目标函数f,他是一个未知的,需要通过已有的数据D经过学习训练得到(比如,爱买数码产品还是化妆品、爱打游戏还是爱逛街等等)。而我们还需要一个学习算法A和一组候选的公式H。最终我们将得到一个g,g来自于H。虽然g不是完全等于我们要求的f,但是我们可以通过g获得和f差不多的效果,g是最接近f的规则,也就是说g是起作用的。

下面我们就要构造一个可以选出正确g的H,具体会怎么做呢?首先我们的训练数据包含x和y,x是代表用户的特征属性数据,y代表性别结果(比如0是女性,1是男性)。x不是一个简单的数,实际上是一组向量,向量的维度跟我们能拿到的特征属性种类有关。我们拿到了n种特征属性,那么x的维度就是n。

我们要求的上面的这个男女规则,实际上就变成判断结果减去阈值后是否大于零。那么我们要的这个H可以考虑为这样的一个h(x),即判断属性数据的每一个维度和他们的权重w经过计算后减去阈值得到的结果的符号是正还是负。图中的sign函数就是一个符号函数。

所以经过图中的推导,得到最后我们的H实际上是一个权重W向量和属性X向量的内积。那么假如维度是2,上述规则实际上就变成了二维平面上的一条线,他经过的地方恰好将两种性别分开了。(注意,我这里偷懒画了一条直线,但实际上可能是条曲线)

神奇吧?那么聪明的你一定想到了,如果维度为3,那么分类问题也就是找出在三维空间的一个面。如果维度再高呢?可能是个球。再高呢?我们脑子想象不出来了,但原理是一样的,反正计算机能处理。

好了,由此我们可以引出一种叫做感知器的结构如下图,他就是我们要将的神经网络的组成部分,所以他又叫神经元。

这张图里面的大部分您可能都知道了,但是激活函数是个什么鬼?好吧,我又挖了一个坑,留待下篇文章讲述。而且我们还将探讨损失函数、反向传播算法等等好(shen)玩(ao)的知识,不想下车的朋友赶快关注公众号吧。

最后放一张我画的深度网络结构示意图,有点丑勿喷。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180625G09Y7K00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券