机器学习中的常见问题——损失函数

一、分类算法中的损失函数

1、0-1损失函数

2、Log损失函数

2.1、Log损失

2.2、Logistic回归算法的损失函数

2.3、两者的等价

3、Hinge损失函数

3.1、Hinge损失

Hinge损失是0-1损失函数的一种代理函数,Hinge损失的具体形式如下:

max(0,1−m)

运用Hinge损失的典型分类器是SVM算法。

3.2、SVM的损失函数

3.3、两者的等价

4、指数损失

4.1、指数损失

指数损失是0-1损失函数的一种代理函数,指数损失的具体形式如下:

exp(−m)

运用指数损失的典型分类器是AdaBoost算法。

4.2、AdaBoost基本原理

4.3、两者的等价

5、感知损失

5.1、感知损失

感知损失是Hinge损失的一个变种,感知损失的具体形式如下:

max(0,−m)

运用感知损失的典型分类器是感知机算法。

5.2、感知机算法的损失函数

感知机算法只需要对每个样本判断其是否分类正确,只记录分类错误的样本,其损失函数为:

5.3、两者的等价

Hinge损失对于判定边界附近的点的惩罚力度较高,而感知损失只要样本的类别判定正确即可,而不需要其离判定边界的距离,这样的变化使得其比Hinge损失简单,但是泛化能力没有Hinge损失强。

import matplotlib.pyplot as plt
import numpy as np

xmin, xmax = -4, 4
xx = np.linspace(xmin, xmax, 100)
plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], 'k-', label="Zero-one loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0), 'g-', label="Hinge loss")
plt.plot(xx, np.log2(1 + np.exp(-xx)), 'r-', label="Log loss")
plt.plot(xx, np.exp(-xx), 'c-', label="Exponential loss")
plt.plot(xx, -np.minimum(xx, 0), 'm-', label="Perceptron loss")

plt.ylim((0, 8))
plt.legend(loc="upper right")
plt.xlabel(r"Decision function $f(x)$")
plt.ylabel("$L(y, f(x))$")
plt.show()

参考文章

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【干货】结合单阶段和两阶段目标检测的优势:基于单次精化神经网络的目标检测方法

【导读】近日,针对目标检测中单阶段和两阶段方法分别存在准确度和速度瓶颈的问题,来自中科院自动化所、中国科学院大学和GE Global Research的学者发表...

70810
来自专栏人工智能头条

浅说深度学习:核心概念

962
来自专栏汪铖杰的专栏

一篇文章搞懂人脸识别的十个概念

笔者整理了一些常见人脸技术的基本概念,主要用于帮助非基础研究读者对人脸相关技术有一个更深入的了解,方便后续的交流与合作。

5.9K3
来自专栏包子铺里聊IT

经典智能算法快速入门之神经网络——技术篇

在上一篇文章里,小编给大家概括地介绍了下神经网络的历史和应用。这次,小编要给大家细细讲解下神经网络的组成,和几种常见神经网络的模型及其适用领域。 基本组成 顾名...

3799
来自专栏杂七杂八

梯度下降

梯度下降(Gradient Descent)是在求解机器学习算法的模型参数(无约束优化问题)时,最常采用的方法之一 代价函数 提到梯度下降就不得不说一下代价函...

3075
来自专栏数据科学与人工智能

【概念】深度学习25个概念,值得研读

小编邀请您,先思考: 深度学习有哪些重要概念,怎么理解? 深度学习和机器学习有什么异同? 人工智能,深度学习,机器学习—无论你在做什么,如果你对它不是很了解的话...

2257
来自专栏机器学习算法与Python学习

收藏!机器学习与深度学习面试问题总结.....

3307
来自专栏企鹅号快讯

机器学习算法实战

目 录 逻辑回归算法步骤简述 选择输入函数:sigmoid函数 选择优化算法:梯度上升法 观察数据集 批梯度上升训练 随机梯度上升训练 推荐阅读时间: 10m...

2315
来自专栏智能算法

初识支持向量机原理

支持向量机作为机器学习中最为难于理解的算法,小编将以三篇的篇幅去讲解小编自己理解的SVM算法。主要包括:初识支持向量机原理、SVM如何解决线性不可分、SVM实践...

3436
来自专栏技术随笔

[译] Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks

4036

扫码关注云+社区

领取腾讯云代金券