从零开始学人工智能-数学·神经网络（三）·损失函数

作者：射命丸咲Python 与 机器学习 爱好者

知乎专栏：https://zhuanlan.zhihu.com/carefree0910-pyml

关于损失函数宽泛而准确的数学定义，我感觉我不会说得比 Wiki 更好，所以这一章主要还是介绍一些神经网络中常用的损失函数。然而即使把范围限制在 NN，如何选、为何选相应的损失函数仍然是一个不平凡的数学问题。囿于时间（和实力）、这一章讲的主要是几个损失函数的定义、直观感受和求导方法。

从名字上可以看出，损失函数是模型对数据拟合程度的反映，拟合得越差、损失函数的值就应该越大。同时我们还期望，损失函数在比较大时、它对应的梯度也要比较大，这样的话更新变量就可以更新得快一点。我们都接触过的“距离”这一概念也可以被用在损失函数这里，对应的就是最小平方误差准则（MSE）：

其中G是我们的模型、它根据输入矩阵X输出一个预测向量G(X)

这个损失函数的直观意义相当明确：预测值G(X)和真值Y的欧式距离越大、损失就越大，反之就越小。它的求导也是相当平凡的：

其中 w 是模型G中的一个待训练的参数

由于 MSE 比较简单、所以我们能够从一般意义上来讨论它。为便于理解，以下的部分会结合 NN 这个特定的模型来进行阐述。回顾 BP 算法章节中的式子：

这里的其实就是G(X)。在 NN 中，我们通过最后一层的 CostLayer 利用和真值Y得出一个损失、然后 NN 通过最小化这个损失来训练模型

注意到上式的最后除了损失函数自身的导数以外、还有一项激活函数(https://en.wikipedia.org/wiki/Activation_function)的导数。事实上，结合激活函数来选择损失函数是一个常见的做法，用得比较多的组合有以下四个：

Sigmoid 系以外的激活函数 + MSE

MSE 是个万金油，它不会出太大问题、同时也基本不能很好地解决问题。这里特地指出不能使用 Sigmoid 系激活函数，是因为 Sigmoid 系激活函数在图像两端都非常平缓、从而会引起梯度消失的现象。MSE 这个损失函数无法处理这种梯度消失、所以一般来说不会用 Sigmoid 系激活函数 + MSE 这个组合。以 Sigmoid 函数为例：

上面这张图对应的情况是输入为v、预测为但真值为 0。可以看到，即使此时预测值和真值之间的误差几乎达到了极大值，但由于太小、最终得到的梯度也会很小、导致收敛速度很慢

Sigmoid + Cross Entropy

Sigmoid 激活函数之所以有梯度消失的现象是因为它的导函数形式为

。想要解决这个问题的话，比较自然的想法是定义一个损失函数、使得它的分母上有这一项。经过数学家们的工作，我们得到了 Cross Entropy 这个（可能是基于熵理论导出来的）损失函数，其形式为：

它的合理性较直观：当y=0时、起作用的只有，此时越接近0、C就越小；y=1的情况几乎同理。下面给出其导数形式：

可见其确实满足要求

Softmax + Cross Entropy / log-likelihood

这两个组合的核心都在于前面用了一个 Softmax。Softmax 不是一个损失函数而是一个变换，它具有相当好的直观：能把普通的输出归一化成一个概率输出。比如若输出是 (1, 1, 1, 1)，经过 Softmax 之后就是 (0.25, 0.25, 0.25, 0.25)。它的定义式也比较简洁：

注意，这里的通常是一个线性映射：

亦即 Softmax 通常是作为一个 Layer 而不是一个 SubLayer

之所以要进行这一步变换，其实和它后面跟的损失函数也有关系。Cross Entropy 和 log-likelihood 这两个损失函数都是用概率来定义损失的、所以把输出概率化是一个自然的想法。Cross Entropy 上面已有介绍，log-likelihood 的定义则是：

亦即预测概率输出中yi对应的类概率的负对数。当预测概率输出中yi类概率为的1话、损失就是0；当概率趋于0时、损失会趋于无穷

Cross Entropy 的求导上面也说了，下面就给出 Softmax + log-likelihood 的求导公式：

其中

从而

以上、大概讲了一些损失函数相关的基本知识。下一章的话会讲如何根据梯度来更新我们的变量、亦即会讲如何定义各种 Optimizers 以及会讲背后的思想是什么。可以想象会是一个相当大的坑……

希望观众老爷们能够喜欢~