线性回归

  1. 线性模型、线性回归与广义线性模型
  2. 逻辑回归
  3. 工程应用经验
  4. 数据案例讲解

1. 线性模型、线性回归与广义线性回归


1.1 线性模型

image

线性模型(linear model)试图学得一个通过属性的线性组合来进行

预测的函数:

image

向量形式:

image

简单、基本、可解释性好

1.2 线性回归

image

  • 有监督学习→学习样本为

image

  • 输出/预测的结果y i 为连续值变量
  • 需要学习映射
  • 假定输入x和输出y之间有线性相关关系

image

一个简单的例子

让一个六年级的孩子在不问同学具体体重多少的情况下,把班上同学按照体重从轻到重排队。这个孩子会怎么做呢?

image

他有可能会通过观察大家的 身高体格 来排队。

房价预测例子(一元)

面积 (x,平方英尺)

价格 (y,千美元)

2104

460

1416

232

1534

315

852

178

...

...

image

房价预测例子(多元)

训练集

面积(x1,平方英尺)

卧室个数(x2,个)

楼层(x3,层)

房龄 (x4,年)

...

价格(y,千美元)

2104

5

1

45

...

460

1416

3

2

40

...

232

1534

3

2

30

...

315

852

2

1

36

...

178

测试集

面积(x1,平方英尺)

卧室个数(x2,个)

楼层(x3,层)

房龄 (x4,年)

...

价格(y,千美元)

1500

3

2

3

...

?

image

image

image

损失函数(loss function)

我们希望找到最好的权重/参数

image

= [

image

]

如何衡量“最好”?

我们把x到y的映射函数f记作

image

的函数

image

定义损失函数为:

image

image

最小化损失函数

均方误差损失是一个凸函数

image

image

====>

image

梯度下降

逐步迭代减小损失函数(凸函数)

如同下山,找准方向(斜率),每次迈进一小步,直至山底

一元的损失函数

image

image

二元的损失函数

image

image

====>

image

梯度下降学习率的影响

太小收敛速度太慢 太大会震荡甚至不收敛

一元的损失函数

image

image

欠拟合与过拟合(以多项式回归为例)

image

  • 欠拟合:模型没有很好地捕捉到数据特征,不能够很好地拟合数据
  • 过拟合:把样本中的一些噪声特性也学习下来了,泛化能力差

实际工业界使用的各种模型都存在过拟合的风险:

  • 更多的参数/特征,更复杂的模型,通常有更强的学习能力,但是更容易“失去控制”
  • 训练集中有一些噪声,并不代表全量真实数据的分布,死记硬背会丧失泛化能力

过拟合与正则化

通知正则化添加参数“惩罚”,控制参数幅度 限制参数搜索空间,减小过拟合风险

image

1.3 广义线性模型

对于样本

image

如果我们希望用线性的映射关系去逼近y值 可以得到线性回归模型

image

有时候关系不一定是线性的 如何逼近y 的衍生物?

比如令

image

则得到对数线性回归 (log-linear regression) 实际是在用

image

逼近y

image

要点总结

  • 线性回归
    • 线性映射关系
      • yˆ=θTX
    • 损失函数
      • MSE:评估与标准答案之间的差距
    • 梯度下降
      • 沿着损失函数梯度方向逐步修正参数
      • 学习率影响
    • 模型状态
      • 欠拟合
      • 过拟合
  • 广义线性回归
    • 对线性映射的结果进行数学变换,去逼近y值
      • 指数(exp)或者对数(log)变换处理

电子书:https://iosdevlog.gitbooks.io/aidevlog/ML/Regression.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 人工智能-总结

    iOSDevLog
  • Reference Nodes(引用节点)

    iOSDevLog
  • 机器学习概述与算法介绍(二)

    iOSDevLog
  • weex-16-image组件

    DE2586BB-4A0A-4904-AA87-EF44A8A5BC74.png

    酷走天涯
  • # 微信小程序开发之-基本UI

    GuangdongQi
  • 2018-05-30 <通用魔术>天才们想法太超前了

    Albert陈凯
  • 思维导图学 Kotlin

    Yano_nankai
  • [小梅的体验课堂]Microsoft edge canary mac版本体验

    华硕微软越来越没有自己的JC了,不经在windows里面加了wsl而且还废弃了自己的老edge浏览器,重新基于chromium内核开发了新的edge浏览器了,不...

    bboysoul
  • 想尝试 Linux? 教你如何在虚拟机中安装 Linux

    可能许多小伙伴都对 Linux 有一定的兴趣,但是又不想在实体机上安装,所以想在虚拟机上安装试试水。这篇文章则会教你如何在虚拟机上安装自己 Linux 系统(以...

    村雨遥
  • 【HiBlock技术工坊69期会议实录】MYKEY多链钱包和ETH账户合约介绍 ​

    Hiblock区块链技术工坊活动,由HiBlock发起,下笔有神公司支持、区块链兄弟,HPB芯链联合主办,深度聚焦于分享区块链知识,实现小会技术交友,在上海已成...

    辉哥

扫码关注云+社区

领取腾讯云代金券