Python梯度下降的多项式回归分析

深度学习与Python

发布于 2019-06-19 20:17:33

1.7K0

发布于 2019-06-19 20:17:33

文章被收录于专栏：深度学习与python深度学习与python

线性回归

线性回归是多项式回归中多项式次数为1的一个特例，通常在回归问题中，我们使用多项式对曲线进行拟合。假设一个单变量线性回归方程如下：

我们也可以将其写成矩阵乘法的形式：

其中我们需要得到最优的参数thera_0和theta_1，所以我们定义一个成本函数为：

即当我们使用优化算法是成本函数值最小时，就说明曲线拟合的效果最优，这是参数即为我们要找的最优值。在降低成本函数值的时候就需要使用我们的梯度下降算法。

梯度下降

一般梯度下降算法分为随机梯度下降和批量梯度下降，这里我们使用的是随机梯度下降。整个优化过程分为三个程序模块，即为hypothesis函数、SGD函数和sgd_sgd_linear_regression函数。

hypothesis()函数：在给定theta（theta_0和theta_1）和输入值x的情况下，计算并输出目标变量的预测值。其代码实现如下：

def hypothesis(theta, X):
    h = np.ones((X.shape[0],1))
    for i in range(0,X.shape[0]):
        x = np.concatenate((np.ones(1), np.array([X[i]])), axis = 0)
        h[i] = float(np.matmul(theta, x))
    h = h.reshape(X.shape[0])
    return h

SGD()函数：根据当前theta_0和theta_1的值以及alpha、迭代次数(num_iters)、上次迭代预测值(h)，特征(X)和目标( y)作为输入计算当前迭代优化下的theta值(theta_0和theta_1)。其代码实现如下：

def SGD(theta, alpha, num_iters, h, X, y):
    for i in range(0,num_iters):
        theta[0] = theta[0] - (alpha) * (h - y)
        theta[1] = theta[1] - (alpha) * ((h - y) * X)
        h = theta[1]*X + theta[0] 
    return theta

sgd_linear_regression()函数：该函数为主要函数，它将特征变量X，目标值y，学习率和迭代次数(num_iters)作为输入并输出成本函数几乎达到随机梯度下降后的最小值时的最终优化的θ即theta_0的值和theta_1。其代码实现如下：

def sgd_linear_regression(X, y, alpha, num_iters):
    # initializing the parameter vector...
    theta = np.zeros(2)
    # hypothesis calculation....
    h = hypothesis(theta, X)    
    # returning the optimized parameters by Gradient Descent...
    for i in range(0, X.shape[0]):
        theta = SGD(theta,alpha,num_iters,h[i],X[i],y[i])
    theta = theta.reshape(1, 2)
    return theta

在完成梯度下降的程序后，接下来我们导入数据集对代码进行测试。本次数据及比较简单，我们根据城市人口来回归预测公司利润。数据集可以在文末的github地址上找到。

首先我们加载数据集

data = np.loadtxt('data1.txt', delimiter=',')
X_train = data[:,0] #the feature_set
y_train = data[:,1] #the labels

数据可视化：可以使用散点图可视化数据集：

import matplotlib.pyplot as plt
plt.scatter(X_train, y_train)
plt.xlabel('Population of City in 10,000s')
plt.ylabel('Profit in $10,000s')

可视化结果如下：

下面我们设置学习率learning_rate为0.001、迭代次数为100000次进行训练。训练后我们使用matplotlib对拟合结果可视化，代码如下：

import matplotlib.pyplot as plt 
# getting the predictions...
training_predictions = hypothesis(theta, X_train)
scatter = plt.scatter(X_train, y_train, label="training data")
regression_line = plt.plot(X_train, training_predictions
                           , label="linear regression")
plt.legend()
plt.xlabel('Population of City in 10,000s')
plt.ylabel('Profit in $10,000s')

结果如下：