前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >第0节:最小二乘法及numpy复现

第0节:最小二乘法及numpy复现

作者头像
三更两点
发布2021-12-24 14:37:47
5620
发布2021-12-24 14:37:47
举报

文章目录

最小二乘法

高斯证明了最小二乘法的最优性质,在所有五篇的线性估计类中,最小二乘法是其中方差最小的. 对于数据 (xi​,yi​)(i=1,2,3...,m) 拟合出函数 h(x) 有误差,即残差: ri​=h(xi​)−yi​ 此时L2范数(残差平方和)最小时,h(x) 和 y 相似度最高,更拟合

思路

一般的H(x)为n次的多项式,H(x)=w_0+w_1x+w_2x^2+...w_nx^n

w(w_0,w_1,w_2,...,w_n) 为参数

最小二乘法就是要找到一组 w(w_0,w_1,w_2,...,w_n) 使得 \sum_{i=1}^n(h(x_i)-y_i)^2 (残差平方和) 最小即,求 min\sum_{i=1}^n(h(x_i)-y_i)^2

numpy实现

代码语言:javascript
复制
# -*- coding:utf-8 -*-
# /usr/bin/python

import numpy as np
import scipy as sp
from scipy.optimize import leastsq
import matplotlib.pyplot as plt

p = 9 # 多项式次数

def realFunc(x):
    '''真实目标函数'''
    return np.sin(2*np.pi * x)

def fitFunc(p,x):
    '''多项式插值函数'''
    f = np.poly1d(p)
    return f(x)

def lossFunc(p,x,y):
    '''残差'''
    ret = fitFunc(p,x)-y
    return ret

def fitting(M,x,y):
    """
    p 为 多项式的次数
    """
    # 随机初始化多项式参数
    p_init = np.random.rand(M+1)
    # 最小二乘法
    p_lsq = leastsq(lossFunc, p_init, args=(x, y))
    print('Fitting Parameters:', p_lsq[0])
    # 可视化
    plt.plot(x, y, label='real')
    plt.plot(x, fitFunc(p_lsq[0], x), label='fitted curve')
    plt.plot(x, y, 'bo', label='noise')
    plt.legend()
    plt.show()
    return p_lsq

# 构造数据集
x = np.linspace(0, 1, 10)
y = realFunc(x)  # 真实函数输出加噪声
p_lsq_3 = fitting(3,x,y)
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/12/21 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 文章目录
  • 最小二乘法
    • 思路
      • numpy实现
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档