首先,回顾了学习过的几种线性模型,比较了它们的error measure
等。
然后,根据error measure
的联系,可以将linear regression
和logistic regression
也应用到linear classfication
的问题中,也就是01分类问题中。
接下来,对梯度下降法进行了改进,梯度下降法每一次迭代权值需要遍历所有数据,改进的随机梯度下降法保证了平均的方向是梯度下降的方向,每次更新权值只需要其中某一个数据。 这个也可以和PLA比较,PLA每次更新权值也只需要一个数据。
讨论了线性模型用于二分类问题后,讨论了其能否用于多分类问题。 多分类问题主要有两种担忧:
方法主要有两种
根据linear classification
的EoutE_out上限被linear regression
和logistic regression
的上EinE_in所bound
住。所以可以利用两种regression
的误差函数来解决原问题。
实际工程中,对于二分类问题,一般采用:
linear regression
找到初始的还不错的w0w_0。logistic regression
继续优化模型。这里就是简单的把连加去掉,但是理论上整体平均的方向仍然是梯度下降的方向。