Andrew Ng机器学习课程笔记(一)之线性回归

Andrew Ng机器学习课程笔记(一)之线性回归

版权声明:本文为博主原创文章,转载请指明转载地址

http://www.cnblogs.com/fydeblog/p/7364598.html

前言

学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新!

这篇博客主要记录了Andrew Ng课程第一章线性回归,主要介绍了梯度下降法,正规方程,损失函数,特征缩放,学习率的选择等等

1.梯度下降法

原理图解:

(1)  目标:最小化建立代价函数

Tips:  J(θ)可以向量化进行计算,更加简单而且计算方便

(2)  梯度下降法的参数更新

(3)  注意事项与实用技巧

 ①多变量线性回归,每个变量要进行特征缩放到相同范围

 ②画绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛

③学习率的选择

梯度下降算法的每次迭代受到学习率的影响,如果学习率α过小,则达到收敛所需的迭代次数会非常高;如果学习率α过大,每次迭代可能不会减小代价函数,可能会越过局部最小值导致无法收敛。

通常可以考虑尝试些学习率:α=0.01, 0.03, 0.1, 0.3, 1, 3, 10

2. 正规方程

上面使用梯度下降算法,但是对于某些线性回归问题,正规方程方法是更好的解决方案。

在Octave或matlab中,正规方程写作: pinv(X'*X)*X'*y

注:对于那些不可逆的矩阵(通常是因为特征之间不独立,如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征,也有可能是特征数量大于训练集的数量),正规方程方法是不能用的。

3. 梯度下降法与正规方程比较

总结一下,只要特征变量的数目并不大,标准方程是一个很好的计算参数θ的替代方法。具体地说,只要特征变量数量小于一万,通常使用标准方程法,而不使用梯度下降法。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小詹同学

深度学习入门笔记系列 ( 四 )

本系列将分为 8 篇 。今天是第四篇 。总是理论有些枯燥 ,今天来动手基于 TF 框架实现两个简单的案例 ,以小搏大熟悉一下整个过程 。整体来说 ,训练神经网络...

8520
来自专栏fangyangcoder

Andrew Ng机器学习课程笔记(三)之正则化

http://www.cnblogs.com/fydeblog/p/7365475.html

8110
来自专栏锦小年的博客

3. R语言随机数生成

1. 均匀分布 函数: runif(n, min=0, max=1),n 表示生成的随机数数量,min 表示均匀分布的下限,max 表示均匀分布的上限,若省略参...

396100
来自专栏SIGAI学习与实践平台

动手训练模型系列:过拟合与训练集规模

loss值采用Cross_entropy计算,表征训练/测试样本与实际训练/测试分类结果的总误差。

16820
来自专栏文武兼修ing——机器学习与IC设计

基于sklearn的线性支持向量机分类器原理代码实现

原理 分类器 机器学习的分类器,均可以看成一个或一组超平面,将label不同的数据点在数据空间中分开。对于线性可分问题,属于相同label的数据点在数据空间中可...

42990
来自专栏CreateAMind

神经网络(Neural Networks)课程ppt及视频

10920
来自专栏LhWorld哥陪你聊算法

【深度学习篇】--神经网络中的池化层和CNN架构模型

降采样subsample,shrink(浓缩),减少计算负荷,减少内存使用,参数数量减少(也可防止过拟合) 减少输入图片大小(降低了图片的质量)也使得神经网络可...

28720
来自专栏机器学习算法工程师

Scikit-learn之决策树

作者:章华燕 编辑:黄俊嘉 决策树在学习应用中非常有用,接下来给大家分享一下自己有关于决策树的一些想法! 决策树概述 决策树是一个非参数的监督式学习方法,主要用...

31160
来自专栏数据处理

笔记之一

17760
来自专栏PPV课数据科学社区

译:支持向量机(SVM)及其参数调整的简单教程(Python和R)

一、介绍 数据分类是机器学习中非常重要的任务。支持向量机(SVM)广泛应用于模式分类和非线性回归领域。 SVM算法的原始形式由Vladimir N.Vapnik...

80280

扫码关注云+社区

领取腾讯云代金券