专栏首页null的专栏机器学习中的常见问题——损失函数

机器学习中的常见问题——损失函数

一、分类算法中的损失函数

1、0-1损失函数

2、Log损失函数

2.1、Log损失

2.2、Logistic回归算法的损失函数

2.3、两者的等价

3、Hinge损失函数

3.1、Hinge损失

Hinge损失是0-1损失函数的一种代理函数,Hinge损失的具体形式如下:

max(0,1−m)

运用Hinge损失的典型分类器是SVM算法。

3.2、SVM的损失函数

3.3、两者的等价

4、指数损失

4.1、指数损失

指数损失是0-1损失函数的一种代理函数,指数损失的具体形式如下:

exp(−m)

运用指数损失的典型分类器是AdaBoost算法。

4.2、AdaBoost基本原理

4.3、两者的等价

5、感知损失

5.1、感知损失

感知损失是Hinge损失的一个变种,感知损失的具体形式如下:

max(0,−m)

运用感知损失的典型分类器是感知机算法。

5.2、感知机算法的损失函数

感知机算法只需要对每个样本判断其是否分类正确,只记录分类错误的样本,其损失函数为:

5.3、两者的等价

Hinge损失对于判定边界附近的点的惩罚力度较高,而感知损失只要样本的类别判定正确即可,而不需要其离判定边界的距离,这样的变化使得其比Hinge损失简单,但是泛化能力没有Hinge损失强。

import matplotlib.pyplot as plt
import numpy as np

xmin, xmax = -4, 4
xx = np.linspace(xmin, xmax, 100)
plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], 'k-', label="Zero-one loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0), 'g-', label="Hinge loss")
plt.plot(xx, np.log2(1 + np.exp(-xx)), 'r-', label="Log loss")
plt.plot(xx, np.exp(-xx), 'c-', label="Exponential loss")
plt.plot(xx, -np.minimum(xx, 0), 'm-', label="Perceptron loss")

plt.ylim((0, 8))
plt.legend(loc="upper right")
plt.xlabel(r"Decision function $f(x)$")
plt.ylabel("$L(y, f(x))$")
plt.show()

参考文章

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 图解机器学习总结——1、基本概念

    序言:近期主要帮同事讲解《图解机器学习》,刚拿到这本书觉得内容相比较平常使用的机器学习算法,很多地方讲解得比较奇怪,在认真的读完后,觉得还是有很多重要的东西,因...

    zhaozhiyong
  • 机器学习中的常见问题——K-Means算法与矩阵分解的等价

    一、K-Means算法的基本原理 image.png 二、K-Means与矩阵分解的等价 2.1、K-Means的目标函数 image.png 2.2、矩阵分解...

    zhaozhiyong
  • 简单易学的机器学习算法——Rosenblatt感知机

    一、感知机的概念 image.png 二、感知机模型的训练     1、目标函数    image.png     2、感知机的训练过程 image.png 三...

    zhaozhiyong
  • 在TKE上新建托管集群

    腾讯云容器服务(Tencent Kubernetes Engine ,TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务

    马凌鑫
  • 大会活动|2019 ADM-腾讯优图带你玩转AI魔法,AI火锅、同声传译、智能会务速来体验

    每年都能在亚洲范围内引起轰动的亚洲设计管理论坛暨生活创新展(ADM),即将于10月31日登陆杭州。

    优图实验室
  • 刚刚,YOLOv4重磅更新!快来一睹论文真容吧!

    【前言】千呼万唤始出来系列,继YOLOv3两年后,YOLOv4终于出来啦,让我们来一睹论文真容吧!

    深度学习技术前沿公众号博主
  • React 生命周期函数

    Leophen
  • 腾讯云服务器CVM+CentOS,部署LAMP环境快速搭建WordPress博客

    基于腾讯云服务器CVM+ CentOS,部署LAMP环境快速搭建WordPress个人博客。

    就要上云
  • Docker 数据管理

    用户5760343
  • Dual Problem & KKT

    西红柿炒鸡蛋

扫码关注云+社区

领取腾讯云代金券