ML基石_LinearModelsForClassfication

retro

start

首先,回顾了学习过的几种线性模型,比较了它们的error measure等。

  • linear classfication
  • linear regression
  • logistic regression

然后,根据error measure的联系,可以将linear regressionlogistic regression也应用到linear classfication的问题中,也就是01分类问题中。

接下来,对梯度下降法进行了改进,梯度下降法每一次迭代权值需要遍历所有数据,改进的随机梯度下降法保证了平均的方向是梯度下降的方向,每次更新权值只需要其中某一个数据。 这个也可以和PLA比较,PLA每次更新权值也只需要一个数据。

讨论了线性模型用于二分类问题后,讨论了其能否用于多分类问题。 多分类问题主要有两种担忧:

  1. 数据偏斜(OVA中表现明显,可以采用OVO)
  2. 数据重叠(单个数据被几个模型都标示或者都不标示,可以采取logistic等的概率模型)

方法主要有两种

  1. OVO
  2. OVA

linear models for 01 classification

回顾线性模型

误差函数分析

根据linear classification的EoutE_out上限被linear regressionlogistic regression的上EinE_in所bound住。所以可以利用两种regression的误差函数来解决原问题。

解决步骤

实际工程中,对于二分类问题,一般采用:

  1. linear regression找到初始的还不错的w0w_0。
  2. 使用logistic regression继续优化模型。

stochastic gradient descent

概述

这里就是简单的把连加去掉,但是理论上整体平均的方向仍然是梯度下降的方向。

PLA比较与建议

multiclass via Logistic Regression

图形

OVA

multiclass via Binary Classfication

总结

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

利用TensorFlow生成图像标题

图像标题生成器模型结合了计算机视觉和机器翻译的最新进展,利用神经网络生成现实的 图像标题。神经图像标题模型被训练,以最大限度地产生给定输入图像的字幕的可能性。并...

3935
来自专栏算法channel

机器学习|支持向量机之软间隔和核函数

这是SVM的第一部分,如想了解,请参考: 机器学习|支持向量机参数求解 01 — 噪音点出现了 如下图所示,有一个带圈的噪音点出现在了右下角,决策边界在哪里?...

2646
来自专栏杨熹的专栏

用验证曲线 validation curve 选择超参数

本文结构: 验证曲线的作用? 验证曲线是什么? 怎么解读? 怎么画? ---- 验证曲线的作用? 我们知道误差由偏差(bias)、方差(variance)和噪声...

2805
来自专栏新智元

谷歌大作:自动改良反向传播算法,训练速度再提升!

【新智元导读】大神 Geffery Hinton 是反向传播算法的发明者,但他也对反向传播表示怀疑,认为反向传播显然不是大脑运作的方式,为了推动技术进步,必须要...

873
来自专栏机器学习算法与理论

深度学习核心技术实战——图像分类模型

1.LeNet-5: 每一个卷积核都会形成一个特征图,3个通道则是每个通道是不同的卷积核,但是最后是将三通道的卷积值相加,最后变成一个通道,所以5564的卷积核...

621
来自专栏漫漫深度学习路

神经网络如何防止过拟合(总结)

如何防止神经网络过拟合 获取更多的数据 选择正确的模型 将多个模型平均 贝叶斯方法 如何选择正确的模型 正则项 L1 L2 early stoping 输入加噪...

1846
来自专栏AlgorithmDog的专栏

强化学习系列之五:价值函数近似

目前,我们已经介绍了一些强化学习的算法,但是我们无法在实际问题中运用这些算法。 为什么呢?因为算法估算价值函数 (v(s)) 或者 (q(...

3459
来自专栏开心的学习之路

神经网络体系搭建(二)——深度学习网络

本篇是神经网络体系搭建的第二篇,解决体系搭建的深度学习网络相关问题,详见神经网络体系搭建(序) 深度学习是一个已经被说烂了的词,几乎说起人工智能,非专业人士也会...

35110
来自专栏大数据文摘

公开课打怪团 | 无监督学习最新论文解读(直播回顾)

1514
来自专栏AI科技评论

视频 | 神经网络平常都在做些啥?可视化特征解释了一下

来源/ Arxiv Insights 翻译/ 龙翔 校对/ 凡江 整理/ 廖颖 喜欢机器学习和人工智能,却发现埋头苦练枯燥乏味还杀时间?油管频道 Arx...

35310

扫码关注云+社区