每天十分钟机器学习之十九：神经网络的引出

之前的几讲主要围绕回归模型展开，但无论是线性回归还是逻辑回归可能会面临这样一个问题，就是当特征很多时，计算的负荷会非常大，而往往实际问题中特征都比较多，比如图像识别问题。

请大家看下面这个分类预测的例子：

根据图中的边界，我们使用x1、x2这两个特征做多次项式进行预测，可以应用的很好，但是假设我们有非常多的特征，例如100个变量，如果我们用这100个特征来构建一个非线性的多项式模型，结果将是数量非常惊人的特征组合，即便我们只采用两两特征的组合（x1x2+x1x3+x1x4+...+x2x3+x2x4+...+x99x100），我们也会有接近5000个组合而成的特征。这对于一般的逻辑回归来说需要计算的特征太多了。

现实应用的时候，我们想训练一个模型来做图像识别，例如识别一张图片上是否是一辆汽车，我们应该怎样做呢？一种方法是我们利用很多汽车的图片和很多非汽车的图片，然后利用这些图片上一个个像素的值来作为特征，这种情况下如果图片小还可以，如果是一个很大的图片，可想而知得有多少像素点。

即便我们只选用灰度这个特征，每个像素则只有一个值，我们可以选取图片上的两个不同位置上的两个像素，然后训练一个逻辑回归算法利用这两个像素的值来判断图片上是否是汽车。

如果我们采用的都是50x50像素的小图片，并且我们将所有的像素视为特征，则会有2500个特征，如果我们要进一步将两两特征组合构成一个多项式模型，则会有约25002/2个（接近3百万个）特征。

面临这么多特征，普通的逻辑回归模型，是不能有效地处理这么多的特征，这时候我们需要神经网络。

所以我个人总结神经网络有如下几个优势：

1.处理的数据量大，据说数据越多，神经网络越浪，相比之下，传统的机器学习算法在数据量面前，会触及一个天花板。一旦到达极限，传统机器学习算法将无法跟上数据增长的步伐，而神经网络则不会，面对巨大的数据量，不同结构的神经网络有不同的处理方式，比如时下流行的卷积神经网络；

2.能让不明显的特征越来越明显，最终达到很好的分类效果。一般神经网络的输入层会经过多层处理，最终达到输出层，只要我们的激活函数构造合理，会让原始的输入信息特征越来越明显，其实我们想想卷积的作用是不是就类似于此，就和传感器的数据滤波作用一样，将没用的信息过滤掉，增强有用信息继续传递。

3.算法先进，效率高，应用广发，目前基于神经网络的学习被广发的应用到各个领域，语音识别，图像识别等，这就导致大家对这块的开发和创新越来越多，算法也就越来越完善和先进。

基于以上，神经网络的学习还是很重要的，在接下来相当长的时间里，我将和大家一起学习！

祝您的机器学习之旅愉快！

本文参考资料：斯坦福吴恩达老师的机器学习讲义，图片直接来自讲义；