知识卡片 回归性能度量 Log Loss

对数损失 Log Loss 又称交叉熵损失 cross-entropy loss，两者名称不同，其实是等价的 ，常用于评价逻辑回归和神经网络。

什么是逻辑回归 Logistics Regression？

与线性回归估计出Y的是一个连续型的计量数值不同，逻辑回归其实是一个分类方法。在二元逻辑回归中应变量Y是0和1，Y属于分类数据，估计结果是一个概率，自变量是可以包含多个对因变量有影响的因素，可以是连续也可是分类数据；通过逻辑回归，得出每个自变量的权重以及一个事件发生的概率。

二类分类问题的Log Loss:

注：pr 是按照回归模型得出的概率

举例说明：

假设有四个测试样本，y_true 列表是样本的真实值，y_pred 列表中有四个元素，每个样本元素有两个数值，分别表示不同类标签(0和1)的预测概率，其和为1。y_pred中的第一样本的两个元素[.9, .1] 表示样本1有90%的概率属于标签y=0, 10%的概率属于标签y=1;依次计算每个样本的逻辑损失，以e为底数算对数值，样本求平均得出Log Loss。

多类分类的交叉熵（cross-entropy loss）损失：

交叉熵公式中，N为测试样本总数，Yi,k 表示第 i 个样本中的第 k 个标签的真实值。 pi,k 表示预测值。

举例说明：