前面两篇文章中,我们介绍了 logistic 回归的原理和实现: Logistic 回归数学公式推导 梯度上升算法与随机梯度上升算法 本文,我们来看看如何使用 sklearn 来进行 logistic 回归呢。
sklearn 通过 sklearn.linear_model.LogisticRegression 实现了逻辑斯蒂回归算法。 官方文档: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html。 下面的列表中,我们将样本数称为 ns,将分类数称为 nc,将特征数称为 nf。
sklearn.linear_model.LogisticRegression 具有以下构造参数:
penalty 参数是规范化方法,也称为正则化方法,主要是为了防止出现过拟合,具体的我们后面专门用一篇文章详细进行总结。 newton-cg、sag 和 lbfgs 算法只能使用 l2 正则化。 ‘elasticnet’ 只适用于 saga 算法。 具体算法由 solver 参数指定。
class_weight 参数决定了样本的各分类类型权重,可以取值:
优化算法,有五个可选的参数:’newton-cg’, ’lbfgs’, ’liblinear’, ’sag’, ’saga’
多分类问题处理方法,有三个参数可选:’ovr’, ’multinomial’, ’auto’ 既然是“多分类问题处理方法”,所以对于二分类问题,选择哪个的处理方法都是一样的。
print(__doc__)
# Code source: Gaël Varoquaux
# Modified for documentation by Jaques Grobler
# License: BSD 3 clause
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn import datasets
# import some data to play with
iris = datasets.load_iris()
X = iris.data[:, :2] # we only take the first two features.
Y = iris.target
logreg = LogisticRegression(C=1e5, solver='lbfgs', multi_class='multinomial')
# Create an instance of Logistic Regression Classifier and fit the data.
logreg.fit(X, Y)
# Plot the decision boundary. For that, we will assign a color to each
# point in the mesh [x_min, x_max]x[y_min, y_max].
x_min, x_max = X[:, 0].min() - .5, X[:, 0].max() + .5
y_min, y_max = X[:, 1].min() - .5, X[:, 1].max() + .5
h = .02 # step size in the mesh
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
Z = logreg.predict(np.c_[xx.ravel(), yy.ravel()])
# Put the result into a color plot
Z = Z.reshape(xx.shape)
plt.figure(1, figsize=(4, 3))
plt.pcolormesh(xx, yy, Z, cmap=plt.cm.Paired)
# Plot also the training points
plt.scatter(X[:, 0], X[:, 1], c=Y, edgecolors='k', cmap=plt.cm.Paired)
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.xticks(())
plt.yticks(())
plt.show()
https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html。 https://scikit-learn.org/stable/auto_examples/linear_model/plot_iris_logistic.html#sphx-glr-auto-examples-linear-model-plot-iris-logistic-py。