机器学习3：神经网络的黑盒不黑

今天我来说说神经网络在做什么？神经网络黑盒的正确打开方式。当然这里说的不是人类的神经网络，迄今为止我们还没有测底弄懂人类复杂的神经网络的运行方式。今天我们就说说计算机当中的神经网络，我们都听说过神经网络是一个黑盒。咋一看的确挺黑的。如果你丢一个东西进去黑盒，它会给你丢另外一个东西出来。具体在黑盒里面偷偷摸摸的做了什么我们不得而知。但丢进去的东西和丢出来的东西有某种联系。这是为什么呢？我们这个黑盒里究竟发生了什么事情呢？

正好我手边有一个手电筒，我们打开黑盒好好照亮看看。一般来说神经网络是一连串的神经层组成的把输入进行加工在输出的系统。中间加工的过程就是我们所谓的黑盒。我们把黑盒打开。就是把神经网络拆开。按正常的逻辑，我们可以把神经网络拆成三个部分。输入端、黑盒、输出端。输入端是我们能够理解的物体-一个宝宝。输出端也是我么能理解的一个物体-一个奶瓶。对于神经网络传统的理解就是中间的这两层神经层就是对输入信息进行加工好让输出信息和奶瓶吻合。

但是如果我们换个角度想想，此时我们将左边的红线移动一下，现在的输入端增加了一部分原本我们认为是黑盒的部分被照亮变成了已知的部分。我们把左边的两层神经层共同看成输入端貌似怪怪的。你可能会问这时的输入端不再是我们知道的宝宝了呀，为什么我们可以这样看呢？想的没错，它的确已经不再是我们认识的宝宝了。但是宝宝这个人类定义的形象通过神经网络进行加工变成了另外一种宝宝的形象。可能这种形象我们用肉眼看并不像宝宝 ，不过计算机确能理解这个是它所能理解的宝宝的形象。

在专业术语中我们将宝宝当作特征，将神经网络的第一层加工后的宝宝当作代表特征。如果再次移动红线，黑盒就消失了。这时原本黑盒里面所有神经层都被照亮了。原本的代表特征再次被加工，变成了另外一种代表特征。同样再次加工的代表特征只有计算机自己看得懂。所以与其说黑盒在加工处理还不如说是一种代表特种转化成另外一种代表特征。一次次的特征之间的转换也就是一次次更有深度的理解。比如神经网络如果接受了人类手写数字的图片，然后我们将神经网络这个输出层拆掉就留下前三层，那么第三层输出的信息就是我们这个数字的三个最重要的代表特征。换句话说，就是用三个信息代表整张手写数字图片的所有像素点，我们如果把这三个信息展示出来，我们就能清楚的看到如何将三个点代表不同的数字内容。比如神经网络认为1和0是完全不同的。他们应该放在空间里不同的地方。输出层就更好理解了。有了用三个点代表的数代表特征，我们就能整理将落在相同区域的数字分为一类。落在数字1所在的区域，我们就会认为是1，如果是落在2的区域，我们就认定为2。这就是神经网络并不黑的原因了。只是因为有时候代表特征太多了，我们人类没有办法看懂它们代表的是什么。而计算机却能看懂它们学到的规律。所以我们才会觉得神经网络就是一个黑盒。

这种代表特征的理解方式其实特别有用。以至于人们拿着它来研究更高级的神经网络玩法，比如“迁移学习”，我们来举一个例子，对于一个有分类能力的神经网络有时候我们只需要这套神经网络的理解能力，并拿着这套理解能力去处理其他问题。所以我们会保留它的代表特征转换能力，因为有了这种能力就能将复杂的图片像素信息转换成更少量更精辟的信息。

比如我们刚刚说的手写数字变成三个信息点，然后我们需要干点坏事，把这个神经网络的输出层拆掉，套上另外一个神经网络，用这种迁移的方式再进行训练，让它来处理不同的问题。比如预测图片里面数字的价值。现在看来，在黑盒里开个灯其实还挺有用的。当你看不懂神经网络的时候，这样想想是不是更好理解了呢。