最小二乘法多项式曲线拟合原理与实现

概念

最小二乘法多项式曲线拟合,根据给定的m个点,并不要求这条曲线精确地经过这些点,而是曲线y=f(x)的近似曲线y= φ(x)。

原理

[原理部分由个人根据互联网上的资料进行总结,希望对大家能有用]

     给定数据点pi(xi,yi),其中i=1,2,…,m。求近似曲线y= φ(x)。并且使得近似曲线与y=f(x)的偏差最小。近似曲线在点pi处的偏差δi= φ(xi)-y,i=1,2,...,m。

常见的曲线拟合方法:

     1.使偏差绝对值之和最小

     2.使偏差绝对值最大的最小

     3.使偏差平方和最小

     按偏差平方和最小的原则选取拟合曲线,并且采取二项式方程为拟合曲线的方法,称为最小二乘法。

推导过程:

     1. 设拟合多项式为:

     2. 各点到这条曲线的距离之和,即偏差平方和如下:

     3. 为了求得符合条件的a值,对等式右边求ai偏导数,因而我们得到了: 

     .......

     4. 将等式左边进行一下化简,然后应该可以得到下面的等式:

.......

     5. 把这些等式表示成矩阵的形式,就可以得到下面的矩阵:

     6. 将这个范德蒙得矩阵化简后可得到:

     7. 也就是说X*A=Y,那么A = (X'*X)-1*X'*Y,便得到了系数矩阵A,同时,我们也就得到了拟合曲线。

实现

运行前提:

  1. Python运行环境与编辑环境;
  2. Matplotlib.pyplot图形库,可用于快速绘制2D图表,与matlab中的plot命令类似,而且用法也基本相同。

代码:

 1     # coding=utf-8  
 2       
 3     ''''' 
 4     程序:多项式曲线拟合算法 
 5     '''  
 6     import matplotlib.pyplot as plt  
 7     import math  
 8     import numpy  
 9     import random  
10       
11     fig = plt.figure()  
12     ax = fig.add_subplot(111)  
13       
14     #阶数为9阶  
15     order=9  
16       
17     #生成曲线上的各个点  
18     x = numpy.arange(-1,1,0.02)  
19     y = [((a*a-1)*(a*a-1)*(a*a-1)+0.5)*numpy.sin(a*2) for a in x]  
20     #ax.plot(x,y,color='r',linestyle='-',marker='')  
21     #,label="(a*a-1)*(a*a-1)*(a*a-1)+0.5"  
22       
23     #生成的曲线上的各个点偏移一下,并放入到xa,ya中去  
24     i=0  
25     xa=[]  
26     ya=[]  
27     for xx in x:  
28         yy=y[i]  
29         d=float(random.randint(60,140))/100  
30         #ax.plot([xx*d],[yy*d],color='m',linestyle='',marker='.')  
31         i+=1  
32         xa.append(xx*d)  
33         ya.append(yy*d)  
34       
35     '''''for i in range(0,5): 
36         xx=float(random.randint(-100,100))/100 
37         yy=float(random.randint(-60,60))/100 
38         xa.append(xx) 
39         ya.append(yy)'''  
40       
41     ax.plot(xa,ya,color='m',linestyle='',marker='.')  
42       
43       
44     #进行曲线拟合  
45     matA=[]  
46     for i in range(0,order+1):  
47         matA1=[]  
48         for j in range(0,order+1):  
49             tx=0.0  
50             for k in range(0,len(xa)):  
51                 dx=1.0  
52                 for l in range(0,j+i):  
53                     dx=dx*xa[k]  
54                 tx+=dx  
55             matA1.append(tx)  
56         matA.append(matA1)  
57       
58     #print(len(xa))  
59     #print(matA[0][0])  
60     matA=numpy.array(matA)  
61       
62     matB=[]  
63     for i in range(0,order+1):  
64         ty=0.0  
65         for k in range(0,len(xa)):  
66             dy=1.0  
67             for l in range(0,i):  
68                 dy=dy*xa[k]  
69             ty+=ya[k]*dy  
70         matB.append(ty)  
71        
72     matB=numpy.array(matB)  
73       
74     matAA=numpy.linalg.solve(matA,matB)  
75       
76     #画出拟合后的曲线  
77     #print(matAA)  
78     xxa= numpy.arange(-1,1.06,0.01)  
79     yya=[]  
80     for i in range(0,len(xxa)):  
81         yy=0.0  
82         for j in range(0,order+1):  
83             dy=1.0  
84             for k in range(0,j):  
85                 dy*=xxa[i]  
86             dy*=matAA[j]  
87             yy+=dy  
88         yya.append(yy)  
89     ax.plot(xxa,yya,color='g',linestyle='-',marker='')  
90       
91     ax.legend()  
92     plt.show()

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

深度学习文本分类实战报告:CNN, RNN & HAN

大家好!! 我最近作为 NLP 研究员(Intern? ) 加入了 Jatana.ai a并被要求利用深度学习的模型在文本分类方面做一些工作。

25420
来自专栏数据科学学习手札

(数据科学学习手札16)K-modes聚类法的简介&Python与R的实现

我们之前经常提起的K-means算法虽然比较经典,但其有不少的局限,为了改变K-means对异常值的敏感情况,我们介绍了K-medoids算法,而为了解决K-m...

48880
来自专栏longchen的专栏

用TensorFlow进行手写数字识别

如果让你用传统的编程语言写一个程序去识别这些形态各异的数字,你会怎么写?写很多方法去检测横、竖、圆这些基本形状,然后计算它们的相对位置?我想你很快就会陷入绝望之...

4.3K00
来自专栏机器之心

学界 | 谷歌论文新突破:通过辅助损失提升RNN学习长期依赖关系的能力

选自arXiv 机器之心编译 参与:李诗萌、黄小天 本文提出了一种简单的方法,通过在原始函数中加入辅助损失改善 RNN 捕捉长期依赖关系的能力,并在各种设置下评...

38550
来自专栏人工智能LeadAI

请注意,我们要谈谈神经网络的注意机制和使用方法

神经网络中的注意机制(attention mechanism),也被称为神经注意(neural attention)或注意(attention),最近也得到了人...

37950
来自专栏数据科学学习手札

(数据科学学习手札11)K-means聚类法的原理简介&Python与R实现

kmeans法(K均值法)是麦奎因提出的,这种算法的基本思想是将每一个样本分配给最靠近中心(均值)的类中,具体的算法至少包括以下三个步骤:   1.将所有的样品...

94770
来自专栏文武兼修ing——机器学习与IC设计

CapsNet学习笔记理论学习代码阅读(PyTorch)参考资料

理论学习 胶囊结构 胶囊可以看成一种向量化的神经元。对于单个神经元而言,目前的深度网络中流动的数据均为标量。例如多层感知机的某一个神经元,其输入为若干个标量,...

43990
来自专栏机器之心

自创数据集,使用TensorFlow预测股票入门

42770
来自专栏算法channel

跨越时空:找回 RNN 消失的梯度

斯坦福 NLP 的第 9 课后半部分给出了答案:主要应对梯度消失的措施是隐含层中采用更复杂的隐含单元。读者朋友们,你们可以回想下 RNN 的网络结果,隐含层中,...

11430
来自专栏量化投资与机器学习

【深度学习系列】漫谈RNN之序列建模(机器翻译篇)

推送第四日,量化投资与机器学习公众号将为大家带来一个系列的 Deep Learning 原创研究。本次深度学习系列的撰稿人为 张泽旺 ,DM-Master,目前...

354100

扫码关注云+社区

领取腾讯云代金券