机器学习｜常见的损失函数

在学习过程中我们经常会接触到损失函数、代价函数、目标函数三个词语，本文让我们来总结一下机器学习中常见的损失函数和代价函数。

01

概念

首先让我们来了解一下三种损失函数的概念。

损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。

代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。

目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是代价函数 + 正则化项）。

关于目标函数和代价函数的区别还有一种通俗的区别：

目标函数是最大化或者最小化，而代价函数是最小化。

02

常见的损失函数

0-1损失函数

（0-1 loss function）

平方损失函数

（quadratic loss function）

绝对值损失函数

（absolute loss function）

对数损失函数

（logarithmic loss function）

合页损失函数

（Hinge loss function）

指数损失函数

（exponential loss）

03

常见的代价函数

均方误差

（Mean Squared Error）

均方根误差

（Root Mean Squared Error）

平均绝对误差

（Mean Absolute Error）

交叉熵代价函数

（Cross Entry）