快速入门Python机器学习（九）
6 K邻近算法(KNeighbors)
所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。
- 如果K=3，绿色圆点的最近的3个邻居是2个红色小三角形和1个蓝色小正方形，少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于红色的三角形一类。
- 如果K=5，绿色圆点的最近的5个邻居是2个红色三角形和4个蓝色的正方形，还是少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于蓝色的正方形一类。
于此我们看到，当无法判定当前待分类点是从属于已知分类中的哪一类时，我们可以依据统计学的理论看它所处的位置特征，衡量它周围邻居的权重，而把它归为(或分配)到权重更大的那一类。这就是K近邻算法的核心思想。
6 .1 K邻近分类算法(KNeighbors Classifier)
类
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights='uniform', algorithm='auto', leaf_size=30,p=2, metric='minkowski', metric_params=None, n_jobs=1, **kwargs)
参数
参数 | 解释 |
|---|---|
n_neighbors | int, optional (默认= 5)，默认情况下用于查询的邻居数量。(一般也不需要更改，默认5是最佳的。也可以尝试在小范围调试看看效果) |
algorithm | : {'auto','ball_tree','kd_tree','brute'}, optional。用于计算最近邻居的算法:•'ball_tree' 用于BallTree•'kd_tree'用于KDTree•'brute'用于强力搜查.•'auto'将尝试根据传递给fit方法的值来决定最合适的算法注意:使用强力拟合稀疏输入将覆盖此参数的设置。 |
属性
属性 | 解释 |
|---|---|
classes_ | array of shape (n_classes,)分类器已知的类标签使用的距离度量。 |
effective_metric_ | str or callble如果度量参数设置为'minkowski'，p参数设置为2，则它将与度量参数或其同义词相同，例如'euclidean'。 |
effective_metric_params_ | dict度量类参数、属性和方法的其他关键字参数。对于大多数度量，都将与metric_params参数相同，但如果effective_metric_ attribute设置为'minkowski'，则也可能包含p参数值。 |
n_samples_fit_ | int拟合数据中的样本数。 |
outputs_2d_ | bool如果y的形状在拟合过程中为(n_samples, ) 或 (n_samples, 1)，则为False，否则为True。 |
方法
方法 | 解释 |
|---|---|
fit(X, y) | 从训练数据集中拟合k近邻分类器。 |
get_params([deep]) | 获取此估计器的参数。 |
kneighbors([X, n_neighbors, return_distance]) | 找到点的K邻域。 |
kneighbors_graph([X, n_neighbors, mode]) | 计算X上点的k邻域（加权）图 |
predict(X) | 预测所提供数据的类标签。 |
predict_proba(X) | 测试数据X的返回概率估计。 |
score(X, y[, sample_weight]) | 返回给定测试数据和标签的平均精度。 |
set_params(**params) | 设置此估计器的参数。 |
6.1.1 K邻近算法分析make_blobs数据集
2类
def sklearn_Kneighbors_for_make_blobs_2_centers():
myutil = util()
# 产生200个新样本，分成2类
data = make_blobs(n_samples=200,centers=2, random_state=8)
X,y =data
print("X is :",X)
print("y is :",y)
#将数据集用散点图方式进行可视化分析
plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.spring,edgecolor='k')
plt.show()输出
X is : [[ 6.75445054 9.74531933]
[ 6.80526026 -0.2909292 ]
[ 7.07978644 7.81427747]
…
y is : [0 1 0 1 0 0 1 0 0 1 …0 1]
clf = KNeighborsClassifier()
clf.fit(X,y)
#下面代码用于画图
title = "KN邻近分类——2个类别"
myutil.draw_scatter(X,y,clf,title)
myutil.plot_learning_curve(KNeighborsClassifier(),X,y,title)
myutil.show_pic(title)
5类
def sklearn_Kneighbors_for_make_blobs_5_centers():
myutil = util()
data = make_blobs(n_samples=500,centers=5, random_state=8)
X,y =data
plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.spring,edgecolor='k')
plt.show()
5类中有2类混合在一起
clf = KNeighborsClassifier()
clf.fit(X,y)
#下面代码用于画图
title = "KN邻近分类——5个类别"
myutil.draw_scatter(X,y,clf,title)
myutil.plot_learning_curve(KNeighborsClassifier(),X,y,title)
myutil.show_pic(title)
6.1.2 K邻近算法分析load_iris数据集
from sklearn import datasets
def KNeighborsClassifier_for_load_iris():
myutil = util()
X,y = datasets.load_iris().data,datasets.load_iris().target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
title = "KNN分类_鸢尾花数据"
clf = KNeighborsClassifier()
clf.fit(X_train, y_train)
myutil.print_scores(clf,X_train,y_train,X_test,y_test,title)
myutil.plot_learning_curve(KNeighborsClassifier(),X,y,title)
myutil.show_pic(title)
在Util.py中定义
#打印得分
def print_scores(self,clf,X_train,y_train,X_test,y_test,title):
title = title+":\n{:.2%}"
print(title.format(clf.score(X_train,y_train)))
print(title.format(clf.score(X_test,y_test)))输出：
KNN分类_鸢尾花数据:
97.50%
KNN分类_鸢尾花数据:
96.67%
6.1.3 K邻近算法分析load_wine数据集
def KNeighborsClassifier_for_load_wine():
myutil = util()
wine_dataset = datasets.load_wine()
X,y = wine_dataset['data'],wine_dataset['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
title = "KNN分类_红酒数据"
clf = KNeighborsClassifier()
clf.fit(X_train, y_train)
myutil.print_scores(clf,X_train,y_train,X_test,y_test,title)
myutil.plot_learning_curve(KNeighborsClassifier(),X,y,title)
myutil.show_pic(title)
X_new = np.array([[25.5,3.14,3.22,18.5,95.8, 0.97, 2.52, 0.67, 1.52, 7.3, 0.98, 2.96, 990]])
prediction = clf.predict(X_new)
print('预测的红酒为：{}:\n'.format(wine_dataset['target_names'][prediction]))输出
KNN分类_红酒数据:
77.46%
KNN分类_红酒数据:
72.22%
预测的红酒为：['class_0']:
6.1.4 K邻近算法分析load_breast_cancer数据集
def KNeighborsClassifier_for_load_breast_cancer():
myutil = util()
wine_dataset = datasets.load_breast_cancer()
X,y = wine_dataset['data'],wine_dataset['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
title = "KNN分类_乳腺癌数据"
clf = KNeighborsClassifier()
clf.fit(X_train, y_train)
myutil.print_scores(clf,X_train,y_train,X_test,y_test,title)
myutil.plot_learning_curve(KNeighborsClassifier(),X,y,title)
myutil.show_pic(title)
print('第310个样本预测结果: {}'.format(clf.predict([X[310]])))输出
KNN分类_乳腺癌数据:
94.07%
KNN分类_乳腺癌数据:
95.61%
第310个样本预测结果: [1]
6.1.5 比对线性分类方法（逻辑回归）与K邻近算法
逻辑回归算法 | K邻近算法 | |
|---|---|---|
鸢尾花数据 | 96.67%、100.00% | 97.50%、96.67% |
红酒数据 | 100.00%、94.44% | 77.46%、72.22% |
乳腺癌数据 | 94.95%、97.37% | 94.07%、95.61% |
可见红酒数据逻辑回归算法的正确率比较高，鸢尾花数据、乳腺癌数据两者的得分数据基本相同。另外可以看见由于KNN算法不是线性的，所以分布图的边界不是直线。