ML基石_LinearModelsForClassfication

retro

start

首先,回顾了学习过的几种线性模型,比较了它们的error measure等。

  • linear classfication
  • linear regression
  • logistic regression

然后,根据error measure的联系,可以将linear regressionlogistic regression也应用到linear classfication的问题中,也就是01分类问题中。

接下来,对梯度下降法进行了改进,梯度下降法每一次迭代权值需要遍历所有数据,改进的随机梯度下降法保证了平均的方向是梯度下降的方向,每次更新权值只需要其中某一个数据。 这个也可以和PLA比较,PLA每次更新权值也只需要一个数据。

讨论了线性模型用于二分类问题后,讨论了其能否用于多分类问题。 多分类问题主要有两种担忧:

  1. 数据偏斜(OVA中表现明显,可以采用OVO)
  2. 数据重叠(单个数据被几个模型都标示或者都不标示,可以采取logistic等的概率模型)

方法主要有两种

  1. OVO
  2. OVA

linear models for 01 classification

回顾线性模型

误差函数分析

根据linear classification的EoutE_out上限被linear regressionlogistic regression的上EinE_in所bound住。所以可以利用两种regression的误差函数来解决原问题。

解决步骤

实际工程中,对于二分类问题,一般采用:

  1. linear regression找到初始的还不错的w0w_0。
  2. 使用logistic regression继续优化模型。

stochastic gradient descent

概述

这里就是简单的把连加去掉,但是理论上整体平均的方向仍然是梯度下降的方向。

PLA比较与建议

multiclass via Logistic Regression

图形

OVA

multiclass via Binary Classfication

总结

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

手把手 | 30行JavaScript代码,教你分分钟创建神经网络

1603
来自专栏张俊红

Sklearn参数详解—Adaboost

今天这篇讲讲集成学习,集成学习就是将多个弱学习器集合成一个强学习器,你可以理解成现在有好多道判断题(判断对错即01),如果让学霸去做这些题,可能没啥问题,几乎全...

1033
来自专栏算法channel

深度学习|卷积神经网络(CNN)介绍(前篇)

01 — 回顾 以上推送了神经网络相关的介绍性内容和相关的基础理论,包括: 神经网络的基本结构:输入层,隐含层,输出层; 批随机梯度下降算法(mini-batc...

4639
来自专栏深度学习自然语言处理

神经网络基础模型--Logistic Regression的理论和实践

1 概述 Logistic Regression 即 逻辑回归,属于监督学习,输入x(特征数据),输出为0或1(显然是二分类)。为什么要用逻辑回归讲神经...

34615
来自专栏技术专栏

Python3入门机器学习(七)- PCA

PCA(Principal Component Analysis):也是一个梯度分析的应用,不仅是机器学习的算法,也是统计学的经典算法

1683
来自专栏贾志刚-OpenCV学堂

使用OpenCV与sklearn实现基于词袋模型(Bag of Word)的图像分类预测与搜索

基于OpenCV实现SIFT特征提取与BOW(Bag of Word)生成向量数据,然后使用sklearn的线性SVM分类器训练模型,实现图像分类预测。实现基于...

1693
来自专栏wym

人脸识别

# -*- coding: UTF-8 -*- import cv2 # 待检测的图片路径 imagepath="xhs.jpg" image = c...

1351
来自专栏机器学习、深度学习

统计学习导论 Chapter4--Classification

Book: An Introduction to Statistical Learning with Appli...

1946
来自专栏小小挖掘机

推荐系统遇上深度学习(六)--PNN模型理论和实践

推荐系统遇上深度学习(五)--Deep&Cross Network模型理论和实践

1092
来自专栏深度学习思考者

深入浅出——搞懂卷积神经网络误差分析(一)

第一部分 全连接网络的权值更新   卷积神经网络使用基于梯度的学习方法进行监督训练,实践中,一般使用随机梯度下降(机器学习中几种常见的梯度下降方式)的版本,对于...

2277

扫码关注云+社区