ML基石_LinearModelsForClassfication

• retro
• start
• linear models for 01 classification
  • 回顾线性模型
  • 误差函数分析
  • 解决步骤
• stochastic gradient descent
  • 概述
  • PLA比较与建议
• multiclass via Logistic Regression
  • 图形
  • OVA
• multiclass via Binary Classfication
• 总结

retro

这里写图片描述

start

首先，回顾了学习过的几种线性模型，比较了它们的error measure等。

• linear classfication
• linear regression
• logistic regression

然后，根据error measure的联系，可以将linear regression和logistic regression也应用到linear classfication的问题中，也就是01分类问题中。

接下来，对梯度下降法进行了改进，梯度下降法每一次迭代权值需要遍历所有数据，改进的随机梯度下降法保证了平均的方向是梯度下降的方向，每次更新权值只需要其中某一个数据。 这个也可以和PLA比较，PLA每次更新权值也只需要一个数据。

讨论了线性模型用于二分类问题后，讨论了其能否用于多分类问题。 多分类问题主要有两种担忧：

1. 数据偏斜（OVA中表现明显，可以采用OVO）
2. 数据重叠（单个数据被几个模型都标示或者都不标示，可以采取logistic等的概率模型）

方法主要有两种

1. OVO
2. OVA

linear models for 01 classification

回顾线性模型

这里写图片描述

误差函数分析

这里写图片描述

这里写图片描述

根据linear classification的EoutE_out上限被linear regression和logistic regression的上EinE_in所bound住。所以可以利用两种regression的误差函数来解决原问题。

解决步骤

这里写图片描述

实际工程中，对于二分类问题，一般采用：

1. 用linear regression找到初始的还不错的w0w_0。
2. 使用logistic regression继续优化模型。

stochastic gradient descent

概述

这里就是简单的把连加去掉，但是理论上整体平均的方向仍然是梯度下降的方向。

这里写图片描述

PLA比较与建议

这里写图片描述

multiclass via Logistic Regression

图形

这里写图片描述

这里写图片描述

OVA

这里写图片描述

multiclass via Binary Classfication

这里写图片描述

总结

这里写图片描述