# 线性回归与最小二乘法 | 机器学习笔记

01

1.定义模型

,a是有必要但是未知的参数.

2.模型假设

3.定义什么是最好的模型（重点）

（其中,argmin是数学上找到最小化参数的缩写.平方损失能够找到两个参数的最好值.）

4.最小二乘解

,并且令其为0得到

5.奥运会最小二乘拟合

02

03

1.初探

(证明：)

2.向量/矩阵损失函数的等价性证明

（这里要注意，我们这里矩阵的下标是从0开始的，比如说

，是第二个。这里改变记法的原因是使得下标和保持一致，便于记忆）

3.向量/矩阵损失函数的得到未知参数

4.小结

5.奥运会数据的重新实现

5.1.读取数据

5.2.拟合数据

5.3.顶层测试脚本（把画图也放在了这个脚本里面）

04

scikit-learn里面有处理线性模型的模块linear_model 我们这里需要的就是这个模块下面的线性回归的类啦。

## sklearn.linear_model.LinearRegression

`__init__`(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)

fit(X, y, sample_weight=None)

get_params(deep=True)

Get parameters for this estimator. Parametersdeep : boolean, optional If True, will return the parameters for this estimator and contained subobjects that are estimators. Returnsparams : mapping of string to any Parameter names mapped to their values.

predict(X)

score(X, y, sample_weight=None) Returns the coefficient of determination R^2 of the prediction. The coefficient R^2 is defined as (1 - u/v), where u is the regression sum of squares ((y_true - y_pred) ** 2).sum() and v is the residual sum of squares ((y_true - y_true.mean()) ** 2).sum(). Best possible score is 1.0 and it can be negative (because the model can be arbitrarily worse). A constant model that always predicts the expected value of y, disregarding the input features, would get a R^2 score of 0.0. ParametersX : array-like, shape = (n_samples, n_features) Test samples. y : array-like, shape = (n_samples) or (n_samples, n_outputs) True values for X. sample_weight : array-like, shape = [n_samples], optional Sample weights. Returnsscore : float R^2 of self.predict(X) wrt. y. 29.18. sklearn.linear_model: Generalized Linear Models 1531scikit-learn user guide, Release 0.18.1 set_params(**params) Set the parameters of this estimator. The method works on simple estimators as well as on nested objects (such as pipelines). The latter have parameters of the form __ so that it’s possible to update each component of a nested object. Returnsself :

# -*- coding: utf-8 -*- from __future__ import print_function,division from sklearn import linear_model import matplotlib.pyplot as plt import numpy as np #load data year=np.loadtxt("data1.txt",delimiter=' ',usecols=(1,),ndmin=2) score=np.loadtxt("data1.txt",delimiter=' ',usecols=(0,),ndmin=2) ''' #test print("year:\n",year) print("the shape of year:",year.shape)

print("score:\n",score) print("the shape of score:",score.shape) ''' #X=np.ones(shape=(year.shape[0],2)) #X[:,1]=year[:,0] #print("X:\n",X) #Linear Regression Lreg=linear_model.LinearRegression() Lreg.fit(year,score) print(Lreg.coef_) print(Lreg.intercept_) #prediction predict=Lreg.predict(year) #drawerplt. plot(year,score,"o") plt.plot(year,predict) plt.show()

0 条评论

• ### 神经网络思想建立LR模型（DL公开课第二周答案）

LR回顾 ? LR计算图求导 ? 算法结构 设计一个简单的算法实现判别是否是猫。 用一个神经网络的思想建立一个LR模型，下面这个图解释了为什么LR事实上是一个...

• ### 五分钟喝不完一杯咖啡，但五分钟可以带你入门TensorFlow

本文是《人人都能学人工智能-TensorFlow系列》文章的第一篇，这个系列会对TensorFlow的基础使用，SoftMax，交叉熵，Dropout，CNN，...

• ### 机器学习实战 | 第二章：线性回归模型

线性回归（Linear Regression） 这个类是传统最小二乘回归的类.是最基础的线性回归的类. class sklearn.linear_model....

• ### numpy.empty

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

• ### [计算机视觉论文速递] 2018-04-28

[1]《View Extrapolation of Human Body from a Single Image》

• ### 用数据公理化混合XPath (CS.LD)

在本文中，我们介绍了具有混合约束扩展的数据约束的XPath健全且完全完备的公理化。首先，我们介绍HXPath =，它是XPath的多模式版本，其数据扩展了标称值...

• ### 在echarts3中使用字符云

echarts2的官方API里是带有字符云的,但到了echarts3就被从官网上移除了,想要使用的话可以从github上下载: 下载地址:https://git...

• ### 人脸对齐--Robust face landmark estimation under occlusion

Robust face landmark estimation under occlusion   ICCV’13 http://www.vision.ca...

• ### AbstractQueuedSynchronizer 源码分析

AQS是通过CHL队列来实现锁请求阻塞列表的。可以通过acquire(int arg)来分析，当前线程竞争锁时的流程，然后再通过release(int arg)...