简单线性回归 (Simple Linear Regression)

1. 介绍

回归(regression) Y变量为连续数值型(continuous numerical variable)，如：房价，人数，降雨量

分类(Classification): Y变量为类别型(categorical variable)，如：颜色类别，电脑品牌，有无信誉

2. 简单线性回归(Simple Linear Regression)

• 很多做决定过过程通常是根据两个或者多个变量之间的关系
• 回归分析(regression analysis)用来建立方程模拟两个或者多个变量之间如何关联
• 被预测的变量叫做：因变量(dependent variable), y, 输出(output)
• 被用来进行预测的变量叫做： 自变量(independent variable), x, 输入(input)

3. 简单线性回归介绍

• 简单线性回归包含一个自变量(x)和一个因变量(y)
• 以上两个变量的关系用一条直线来模拟
• 如果包含两个以上的自变量，则称作多元回归分析(multiple regression)

4. 简单线性回归模型

• 被用来描述因变量(y)和自变量(X)以及偏差(error)之间关系的方程叫做回归模型
• 简单线性回归的模型是:

5. 简单线性回归方程

E(y) = β0+β1x

这个方程对应的图像是一条直线，称作回归线 其中，β0是回归线的截距，β1是回归线的斜率 ，E(y)是在一个给定x值下y的期望值（均值）

6. 正向线性关系：

7. 负向线性关系：

8. 无关系

9. 估计的简单线性回归方程

ŷ=b0+b1x

这个方程叫做估计线性方程(estimated regression line)

其中，b0是估计线性方程的纵截距 b1是估计线性方程的斜率 ŷ是在自变量x等于一个给定值的时候，y的估计值

10. 线性回归分析流程：

11. 关于偏差ε的假定

• 是一个随机的变量，均值为0
• ε的方差(variance)对于所有的自变量x是一样的
• ε的值是独立的
• ε满足正态分布

12 . 简单线性回归模型举例：

汽车卖家做电视广告数量与卖出的汽车数量：

12 .1 如何练处适合简单线性回归模型的最佳回归线？

使

最小

12 .2 计算

计算b1

分子 = (1-2)(14-20)+(3-2)(24-20)+(2-2)(18-20)+(1-2)(17-20)+(3-2)(27-20)

= 6 + 4 + 0 + 3 + 7 = 20

分母 = （1-2）^2 + (3-2)^2 + (2-2)^2 + (1-2)^2 + (3-2)^2 = 1 + 1 + 0 + 1 + 1 = 4

b1 = 20/4 =5

计算b0

b0 = 20 - 5*2 = 20 - 10 = 10

12. 3预测：

假设有一周广告数量为6，预测的汽车销售量是多少？

代码实现：

# 简单现行回归：只有一个自变量 y=k*x+b 预测使 (y-y*)^2  最小
import numpy as np


def fitSLR(x, y):
    n = len(x)
    dinominator = 0
    numerator = 0
    for i in range(0, n):
        numerator += (x[i] - np.mean(x)) * (y[i] - np.mean(y))
        dinominator += (x[i] - np.mean(x)) ** 2

    print("numerator:" + str(numerator))
    print("dinominator:" + str(dinominator))

    b1 = numerator / float(dinominator)
    b0 = np.mean(y) / float(np.mean(x))

    return b0, b1


# y= b0+x*b1
def prefict(x, b0, b1):
    return b0 + x * b1


x = [1, 3, 2, 1, 3]
y = [14, 24, 18, 17, 27]

b0, b1 = fitSLR(x, y)
y_predict = prefict(6, b0, b1)
print("y_predict:" + str(y_predict))

运行结果：

numerator:20.0
dinominator:4.0
y_predict:40.0

            【注】：本文为麦子学院机器学习课程的学习笔记