(二)机器学习从入门到XX:多元线性回归和正规方程

多元线性回归

多线程

多元线性回归实践

通过将训练样本中不同的特征的取值范围限制在大致相同的范围内,可以加快梯度下降的收敛速度。这是因为,当输入的范围比较小的时候,θ的递减速度比较快,而输入的范围比较大的时候,递减速度会变慢。理想情况下,可以通过对输入变量进行处理,将其限制在一个范围内,这个范围可能是或。并不需要严格在这个范围内,因为我们的目的仅仅是让算法执行速度更快一些。

正规方程

梯度下降给出了最小化代价函数的算法,本节我们要讨论的另一种方式,是一种不基于迭代的算法,而是通过一个直接的计算公式,称为正规方程(Normal Equation):

是指一个的矩阵,其中m是指样本数量,n是特征个数,之所以是,是因为第一列用全1填充。是一个的向量,表示样本的结果。可以从数学上证明正规方程得到的能使代价函数最小化。对于使用正规方程计算时,我们上面提到的特征缩放和归一化。

对比一下梯度下降和正规方程解法的优劣:

特性冗余,即两个特性之间联系比较紧密,比如存在线性依赖关系

特性比样本多,即(m ≤ n)

解决办法通常就是删除一些冗余的特性,或者简化特性。

线性回归代码总结

在整个线性回归问题中,主要有如下几个算法需要实现:

代价函数

梯度下降算法

特征缩放

正规方程

使用和利于快速验证算法和模型。在使用这两种编程语言和平台时,要始终以向量和矩阵的思维方式去思考,这样才能更好的利用两种语言的优势,将很多看似复杂的公式用几行代码实现。

夏洛克 AIOps

Make Data Think

人工智能 | 机器学习 | IT运维

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180315G0HN9A00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券