机器学习算法

通俗描述

线性回归模型是利用线性函数对一个或多个自变量和因变量(y)之间关系进行拟合的模型。

该模型基于两个定律:

大数定律:在试验不变的条件下,重复试验多次,随机事件的频率近似于它的概率。

中心极限定理:一些现象受到许多相互独立的随机因素的影响,如果每个因素所产生的影响都很微小时,总的影响可以看作是服从正态分布的。

公式推导

数据输入

基本概念

【1】 线性 = 直线?

线性函数的定义是:一阶或零阶多项式。特征是一维时,线性模型在二维空间构成一条直线;特征是二维时,线性模型在三维空间中构成一个平面;特征是三维时,则最终模型在四维空间中构成一个体;以此类推…

【2】最小二乘法

在线性回归中,最小二乘法就是试图找到一条直线,使所有样本到直线的欧式距离最小之后最小。

【3】最大似然估计

一种重要而普遍的求估计量的方法。通过调整估计参数,使得已经实现的样本发生概率最大。

【4】梯度下降法

从任意点开始,在该点对目标函数求导,沿着导数方向(梯度)“走”(下降)一个给定步长,如此循环迭代,直至“走”到导数为0的位置,则达到极小值。

【5】凸函数

对区间[a,b]上定义的函数f,若它对区间上任意两点x1,x2均有

则称f是区间[a,b]上的凸函数。

对实数集上的函数,可以通过二阶导数来判别:若二阶导数在区间上非负,则称为凸函数;若二阶导数在区间上恒大于0,则称为严格凸函数。

【6】线性回归模型评价标准

回归评价指标 MSE(均方误差)、RMSE(均方根误差)、MAE(平均绝对误差)、R-Squared(R^2)

【7】L1和L2范数

机器学习中正则化项L1和L2的直观理解

机器学习中的范数规则化-L0,L1和L2范式

算法实践

算法实践_线性回归

总结

优点:实现简单,计算简单

缺点:不能很好地拟合非线性数据

应用场景:线性回归简单、易于使用,但是现实生活中数据的特征和目标之间并不是简单的线性组合,所以并不能很好的解决具体问题。所以线性回归常用于数据特征稀疏,并且数据过大的问题中,可以通过线性回归进行特征筛选。在比赛中也可以用线性回归做一个Baseline。

问题

线性回归可以进行分类么

线性回归可以做特征选择么

线性回归、Ridge回归(L2范式)、Lasso 回归(L1范式)的区别和适用条件

最小二乘法的算法复杂度怎么分析

线性回归能处理非线性数据么

参考

https://gitbook.cn/gitchat/column/5ad70dea9a722231b25ddbf8/topic/5b020c53edd0d46379a756fb

https://github.com/wangjiaxin24

机器学习-周志华

https://blog.csdn.net/u010159842/article/details/52918815

有道云笔记-线性回归

https://github.com/Heitao5200/Heitao5200_MachineLearning/blob/master/LR/LinearRegression.md

https://blog.csdn.net/weixin_41246832/article/details/82916841

https://blog.csdn.net/Datawhale/article/details/82931967

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181016G0KGKG00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券