机器学习从零开始系列连载(2)——线性回归

作者:张磊

编辑:赵一帆

本周剩余内容:

2. 建模方法回顾

2.0 偏差与方差

2.1 线性回归-Linear Regression

2.1.1 模型原理

2.1.2 损失函数

2.2 支持向量机-Support Vector Machine

2.2.1 模型原理

2.2.2 损失函数

2.2.3 核方法

2.3 逻辑回归-Logistic Regression

2.3.1 模型原理

2.3.2 损失函数

2.4 Bagging and Boosting框架

2.4.1 Bagging框架

2.4.2 Boosting框架

2.5 Additive Tree 模型

2.5.1 Random Forests

2.5.2 AdaBoost with trees

2.5.3 Gradient Boosting Decision Tree

2.5.4 简单的例子

2.6 人工神经网络-Neural Network

2.6.1 神经元

2.6.2 神经网络的常用结构

2.6.3 一个简单的神经网络例子

以通用的监督学习为例,基本包含4个部分:

01

偏差与方差

● 在机器学习算法中,偏差是由先验假设的不合理带来的模型误差,高偏差会导致欠拟合: 所谓欠拟合是指对特征和标注之间的因果关系学习不到位,导致模型本身没有较好的学到历史经验的现象;

● 方差表征的是模型误差对样本发生一定变化时的敏感度,高方差会导致过拟合:模型对训练样本中的随机噪声也做了拟合学习,导致在未知样本上应用时出现效果较差的现象;

● 机器学习模型的核心之一在于其推广能力,即在未知样本上的表现。

对方差和偏差的一种直观解释

一个例子,假如我们有预测模型:

我们希望用f^e(x)估计f(x),如果使用基于square loss 的线性回归,则误差分析如下:

所以大家可以清楚的看到模型学习过程其实就是对偏差和方差的折中过程。

02

模型原理

标准线性回归通过对自变量的线性组合来预测因变量,组合自变量的权重通过最小化训练集中所有样本的预测平方误差和来得到,原理如下。

● 预测函数

● 参数学习-采用最小二乘法

所有机器学习模型的成立都会有一定的先验假设,线性回归也不例外,它对数据做了以下强假设:

● 自变量相互独立,无多重共线性

● 因变量是自变量的线性加权组合:

● 所有样本独立同分布(iid),且误差项服从以下分布:

最小二乘法与以上假设的关系推导如下:

使用MLE(极大似然法)估计参数如下:

线性回归有两个重要变体:

● Lasso Regression:采用L1正则并使用MAP做参数估计

● Ridge Regression:采用L2正则并使用MAP做参数估计

关于正则化及最优化后续会做介绍。

03

损失函数

进一步阅读可参考:Least Squares

https://en.wikipedia.org/wiki/Least_squares

原文发布于微信公众号 - 机器学习算法全栈工程师(Jeemy110)

原文发表时间:2017-11-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏媒矿工厂

基于生成对抗网络的反色调映射算法

ICASSP 2018于2018年4月15日到4月20日在加拿大卡尔加里举行,会议主题为Signal Processing and Artificial Int...

1203
来自专栏AI科技评论

新手必看的十种机器学习算法

AI 科技评论按:在神经网络的成功的带动下,越来越多的研究人员和开发人员都开始重新审视机器学习,开始尝试用某些机器学习方法自动解决可以轻松采集数据的问题。然而,...

3538
来自专栏自然语言处理

谈谈学习模型的评估1

李航《统计学习方法》一书:统计学习方法是由模型、策略和算法构成的,即统计学习方法的三要素构成,简化:方法=模型+策略+算法

832
来自专栏机器学习原理

机器学习(15)——贝叶斯网络贝叶斯小结

前言: 当多个特征属性之间存在着某种相关关系的时候,使用朴素贝叶斯算法就没法解 决这类问题,那么贝叶斯网络就是解决这类应用场景的一个非常好的算法。在贝叶斯网络的...

4206
来自专栏机器之心

从梯度下降到拟牛顿法:详解训练神经网络的五大学习算法

选自 Neuraldesigner 作者:Alberto Quesada 机器之心编译 参与:蒋思源 在神经网络中,系统的学习过程一般是由训练算法所主导。而现如...

47710
来自专栏IT技术精选文摘

深入浅出谈人脸识别技术

在深度学习出现后,人脸识别技术才真正有了可用性。这是因为之前的机器学习技术中,难以从图片中取出合适的特征值。轮廓?颜色?眼睛?如此多的面孔,且随着年纪、光线、拍...

4396
来自专栏IT派

机器学习之集成学习

1. 关于集成学习的概念   集成学习是机器学习中一个非常重要且热门的分支,是用多个弱分类器构成一个强分类器,其哲学思想是“三个臭皮匠赛过诸葛亮”。一般的弱分类...

3296
来自专栏IT派

机器学习面试题目总结

如果你觉得好的话,不妨分享到朋友圈。 1.机器学习中特征的理解 def:特征选择和降维 特征选择:原有特征选择出子集,不改变原来的特征空间 降维:将原有的特征...

4355
来自专栏大数据风控

评分法模型开发-WOE值计算

对入模的定量和定性指标,分别进行连续变量分段(对定量指标进行分段),以便于计算定量指标的WOE和对离散变量进行必要的降维。对连续变量的分段方法通常分为等距分段...

3196
来自专栏人工智能LeadAI

目标检测研究综述+LocNet

01 localization accuracy ? ? 更准确的bounding box,提高IOU 02 目标检测的发展 1、传统的目标检测(滑动窗口的...

3915

扫码关注云+社区