过拟合(overfitting)与欠拟合(underfitting)

生信编程日常

发布于 2020-10-29 11:17:39

8600

发布于 2020-10-29 11:17:39

文章被收录于专栏：生物信息学、python、R、linux

我们在在实际机器学习预测过程中，可能会经常遇到过拟合与欠拟合现象。

在多项式回归中，这种现象比较直观。我们将构造相关的数据去看：

x = np.random.uniform(-3, 3, size = 100)
y =  0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size = 100) # 加上一点噪声
X = x.reshape(-1, 1)

1. 欠拟合

lin_reg = LinearRegression()
lin_reg.fit(X, y)
y_pred = lin_reg.predict(X)
plt.scatter(x, y)
# plt.scatter(x, y_pred, color = 'r')
plt.plot(np.sort(x), y_pred[np.argsort(x)], color = 'r')
plt.show()

2. 正常拟合

def PolynomialRegression(degree):
    poly_reg = Pipeline([
        ("poly", PolynomialFeatures(degree=degree)),
        ("std_scaler", StandardScaler()),
        ("lin_reg", LinearRegression())
    ])
    return poly_reg

poly_reg2 = PolynomialRegression(degree=2)
poly_reg2.fit(X,y)
y_pred2 = poly_reg2.predict(X)
plt.scatter(x, y)
# plt.scatter(x, y_pred2, color = 'r')
plt.plot(np.sort(x), y_pred2[np.argsort(x)], color = 'r')
plt.show()

3. 过拟合

poly_reg3 = PolynomialRegression(degree=100)
poly_reg3.fit(X,y)
y_pred3 = poly_reg3.predict(X)
plt.scatter(x, y)
# plt.scatter(x, y_pred3, color = 'r')
plt.plot(np.sort(x), y_pred3[np.argsort(x)], color = 'r')
plt.show()