机器学习CS229:lesson1&exercise1

一边打开MATLAB练习题目一“给出身高与年龄的线性关系”,一边看了第一课。

按顺序依次实现了三种最小二乘法求拟合曲线的算法。

算法一、批量梯度下降

J(θ)是向量θ决定的一个面,在这个面上梯度下降找到最低点,这个点对应的θ作为参数的直线使J(θ)最小。每往下走一步更新一次θ的值,每次往下走都要用所有训练样本算一次J(θ)。当m的值巨大时,这种方法非常慢。

算法二、随机梯度下降

每次更新θ值的时候选择一个训练样本。优点是比批量梯度下降快很多,缺点是不能准确到达最低点,需要小心调参数(在这个问题里是alpha),learning rate调不好的话很容易得出奇怪的结果。

alpha=0.01;

theta=[0;0];

j=1;

for counter=1:10000

theta=theta-(alpha*( x(j,:)*theta-y(j,:)  )*x(j,:))'

j=j+1

if(rem(j,50)==0)

j=50

else

j=rem(j,50)

end

end

plot(x(:,2),y,'o')

hold on

plot(x(:,2),x*theta,'-')

算法三、正规方程

不需要使用梯度下降这样的迭代算法来靠近最低点。直接对J(θ)求导,求出使得导数为零的θ。非常快。

>> inv(x'*x)*x'*y

ans =

0.7502

0.0639

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

资源 | 一个Python特征选择工具,助力实现高效机器学习

项目地址:https://github.com/WillKoehrsen/feature-selector

1570
来自专栏机器之心

资源 | 一个Python特征选择工具,助力实现高效机器学习

项目地址:https://github.com/WillKoehrsen/feature-selector

1772
来自专栏fangyangcoder

数字图像处理之亮度变换

                                           by方阳

1454
来自专栏机器之心

教程 | 先理解Mask R-CNN的工作原理,然后构建颜色填充器应用

选自matterport 作者:Waleed Abdulla 机器之心编译 参与:刘晓坤 上年 11 月,matterport 开源了 Mask R-CNN 实...

3965
来自专栏人工智能头条

Azure Machine Learning 上如何选择合适的机器学习算法

1456
来自专栏机器学习原理

深度学习——CNN(3)CNN-AlexNetCNN-GoogleNet其他网络结构

2555
来自专栏mathor

*matlab—线性回归方程式与线性系统

1113
来自专栏marsggbo

Andrew Ng机器学习课程笔记--week2(多元线性回归&正规公式)

1. 内容概要 Multivariate Linear Regression(多元线性回归) 多元特征 多元变量的梯度下降 特征缩放 Computing Pa...

2368
来自专栏挖数

简述【聚类算法】

所谓人以类聚,物以群分。人都喜欢跟自己像的人聚在一起,这些人或者样子长得比较像,或者身高比较像,或者性格比较像,或者有共同的爱好,也就是身上有某些特征是相似的。...

2936
来自专栏码洞

人工不智能之sklearn聚类

线性回归是一种有监督算法,提供了输入数据x和参考目标值y,参考目标提供了一种纠错机制,是对预测结果y_的监督,如果y和y_相差过大,说明拟合的模型可能存在问题。...

641

扫码关注云+社区

领取腾讯云代金券