吴恩达机器学习笔记 —— 5 多变量线性回归

本篇主要讲的是多变量的线性回归,从表达式的构建到矩阵的表示方法,再到损失函数和梯度下降求解方法,再到特征的缩放标准化,梯度下降的自动收敛和学习率调整,特征的常用构造方法、多维融合、高次项、平方根,最后基于正规方程的求解。

在平时遇到的一些问题,更多的是多特征的

多变量的表示方法

多元线性回归中的损失函数和梯度求解

有时候特征各个维度是不同规模的,比如房间的平米数和房间数,两个数量级相差很大。如果不丛任何处理,可能导致梯度优化时的震荡。

一般如果特征时在可接受的范围内,是不需要做特征缩放的。如果很大或者很小,就需要考虑进行特征的缩放了。

标准化,即

自动收敛测试:如果梯度在优化后变化很小,比如10^-3,那么就认为梯度优化已经收敛。

如果发现误差在不断的增加或者不断的抖动,那么应该减小学习率,这一版都是由于学习率过大导致的震荡。但是如果学习率设置的很小,收敛的速度又会很慢。一般都是采用不同的学习率来测试,比如0.001, 0.01, 0.1, 1 ....

有的时候我们选择的特征,并不是直接使用数据,而是通过数据拟合出新的特征。比如我们有房子的长宽,但是使用特征的时候,可以构造出一个面积特征,会更有效果。

通过x构造新的特征替换高维特征

如果不希望房子的价格出现下降,可以构造平方根的特征:

基于正规方程解

基于梯度下降和正规方程的区别

如果特征之间共线,会导致矩阵不可逆

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏磐创AI技术团队的专栏

新手入门机器学习十大算法

【磐创AI导读】:对于想要了解机器学习的新手,本文为大家总结了数据科学家最经常使用的十大机器学习算法来帮助大家快速入门。如果喜欢我们的文章,欢迎点赞、评论、转发...

9110
来自专栏计算机视觉战队

干货——线性分类(中)

通过之前发布的“干货——线性分类(上)”,得到很多关注者的私信,今天就详细的把线性分类笔记(中)和(下)分享给大家,之后我们也会不短给大家带来一些基础的干货,让...

34530
来自专栏人工智能头条

图像分类 | 深度学习PK传统机器学习

13820
来自专栏大学生计算机视觉学习DeepLearning

深度学习(二)神经网络中的卷积和反卷积原理

原文地址:https://www.cnblogs.com/DOMLX/p/9579392.html

16910
来自专栏书山有路勤为径

Regularizing your neural network

如果怀疑神经网络过度拟合了数据,即存在高方差问题那么最先想到的方法可能就是正则化,另一个解决高方差的方法就是准备更多数据,这也是非常可靠的办法,但你可能无法时时...

6230
来自专栏机器学习原理

机器学习(4)——逻辑回归Logistic回归softmax回归

前言:这里是分类问题,之所以放到线性回归的下面介绍,是因为逻辑回归的步骤几乎是和前面一样的,写出目标函数,找到损失函数,求最小值,求解参数,建立模型,模型评估。...

49080
来自专栏人工智能

吴恩达深度学习课程笔记之卷积神经网络基本操作详解

卷积层 CNN中卷积层的作用: CNN中的卷积层,在很多网络结构中会用conv来表示,也就是convolution的缩写。 卷积层在CNN中扮演着很重要的角色—...

40070
来自专栏应用案例

机器学习三人行-手写数字识别实战

前面三个系列我们分别从机器学习入门,洞悉数据,已经数据预处理,回归建模等方面进行了系统的学习。 今天我们根据mnist手写数字的数据集来对0-9共10个数字进行...

29550
来自专栏hadoop学习笔记

非局部神经网络,打造未来神经网络基本组件

将非局部计算作为获取长时记忆的通用模块,提高神经网络性能在深度神经网络中,获取长时记忆(long-range dependency)至关重要。对于序列数据(例如...

14900
来自专栏Gaussic

Machine Learning笔记(三) 多变量线性回归

这样只有单一特征的数据,往往难以帮助我们准确的预测房价走势。因此,考虑采集多个特征的数据值,往往能提升预测效果。例如,选取如下4个特征作为输入值时的情况:

11330

扫码关注云+社区

领取腾讯云代金券