ML基石_LinearModelsForClassfication

retro

start

首先,回顾了学习过的几种线性模型,比较了它们的error measure等。

  • linear classfication
  • linear regression
  • logistic regression

然后,根据error measure的联系,可以将linear regressionlogistic regression也应用到linear classfication的问题中,也就是01分类问题中。

接下来,对梯度下降法进行了改进,梯度下降法每一次迭代权值需要遍历所有数据,改进的随机梯度下降法保证了平均的方向是梯度下降的方向,每次更新权值只需要其中某一个数据。 这个也可以和PLA比较,PLA每次更新权值也只需要一个数据。

讨论了线性模型用于二分类问题后,讨论了其能否用于多分类问题。 多分类问题主要有两种担忧:

  1. 数据偏斜(OVA中表现明显,可以采用OVO)
  2. 数据重叠(单个数据被几个模型都标示或者都不标示,可以采取logistic等的概率模型)

方法主要有两种

  1. OVO
  2. OVA

linear models for 01 classification

回顾线性模型

误差函数分析

根据linear classification的EoutE_out上限被linear regressionlogistic regression的上EinE_in所bound住。所以可以利用两种regression的误差函数来解决原问题。

解决步骤

实际工程中,对于二分类问题,一般采用:

  1. linear regression找到初始的还不错的w0w_0。
  2. 使用logistic regression继续优化模型。

stochastic gradient descent

概述

这里就是简单的把连加去掉,但是理论上整体平均的方向仍然是梯度下降的方向。

PLA比较与建议

multiclass via Logistic Regression

图形

OVA

multiclass via Binary Classfication

总结

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ml

朴素贝叶斯分类器(离散型)算法实现(一)

1. 贝叶斯定理:        (1)   P(A^B) = P(A|B)P(B) = P(B|A)P(A)   由(1)得    P(A|B) = P(B|...

3667
来自专栏计算机视觉与深度学习基础

Leetcode 114 Flatten Binary Tree to Linked List

Given a binary tree, flatten it to a linked list in-place. For example, Given...

2108
来自专栏项勇

笔记68 | 切换fragmengt的replace和add方法笔记

1544
来自专栏开发与安全

算法:AOV网(Activity on Vextex Network)与拓扑排序

在一个表示工程的有向图中,用顶点表示活动,用弧表示活动之间的优先关系,这样的有向图为顶点表示活动的网,我们称之为AOV网(Activity on Vextex ...

4067
来自专栏java闲聊

JDK1.8 ArrayList 源码解析

当运行 ArrayList<Integer> list = new ArrayList<>() ; ,因为它没有指定初始容量,所以它调用的是它的无参构造

1242
来自专栏Hongten

ArrayList VS Vector(ArrayList和Vector的区别)_面试的时候经常出现

2412
来自专栏Phoenix的Android之旅

Java 集合 Vector

List有三种实现,ArrayList, LinkedList, Vector, 它们的区别在于, ArrayList是非线程安全的, Vector则是线程安全...

692
来自专栏后端之路

LinkedList源码解读

List中除了ArrayList我们最常用的就是LinkedList了。 LInkedList与ArrayList的最大区别在于元素的插入效率和随机访问效率 ...

21110
来自专栏刘君君

JDK8的HashMap源码学习笔记

3318
来自专栏alexqdjay

HashMap 多线程下死循环分析及JDK8修复

1.2K4

扫码关注云+社区