KNN两种分类器的python简单实现及其结果可视化比较

1.KNN算法简介及其两种分类器

KNN,即K近邻法(k-nearst neighbors),所谓的k最近邻,就是指最接近的k个邻居(数据),即每个样本都可以由它的K个邻居来表达。kNN算法的核心思想是,在一个含未知样本的空间,可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型。 在scikit-learn 中,与近邻法这一大类相关的类库都在sklearn.neighbors包之中。其中分类器有KNN分类树KNeighborsClassifier、限定半径最近邻分类树的类RadiusNeighborsClassifier以及最近质心分类算法NearestCentroid等等。前两种分类算法中,scikit-learn实现两个不同的最近邻分类器:KNeighborsClassifier基于每个查询点的k个最近邻点实现学习,其中k是用户指定的最近邻数量。 RadiusNeighborsClassifier基于每个训练点的固定半径r内的最近邻搜索实现学习,其中r是用户指定的半径浮点值。关于这两种分类器的差别可以参考KNN算法的KD树和球树进行了解。

2.分类器KNeighborsClassifier的python实现以及结果的可视化

基于scikit-learn的KNeighborsClassifier以及RadiusNeighborsClassifier分类器,本文构建样本数据,采用这两种方法进行分类预测,根据结果画出二者的预测集,从而进行比较。 (1)首先是导入各种库。

import numpy as np
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
from sklearn import neighbors, datasets
import pandas as pd

(2)然后生成样本数据,这里要注意需要生成只有两个特征值的数据集。

from sklearn.datasets.samples_generator 
import make_classification
# X为样本特征,y为样本类别输出, 共200个样本,每个样本2个特征,输出有3个类别,没有冗余特征,每个类别一个簇
X, y = make_classification(n_samples=200, n_features=2, n_redundant=0,n_clusters_per_class=1, n_classes=3)
#之所以生成2个特征值是因为需要在二维平面上可视化展示预测结果,所以只能是2个,3个都不行
plt.scatter(X[:, 0], X[:, 1], marker='o', c=y)
plt.show() #根据随机生成样本不同,图形也不同

本次结果生成的三个类别分布如下:

(3)采用KNeighborsClassifier进行分类与预测

clf = neighbors.KNeighborsClassifier(n_neighbors = 15 , weights='distance')clf.fit(X, y)  
#用KNN来拟合模型,我们选择K=15,权重为距离远近h = .02  
#网格中的步长#确认训练集的边界
#生成随机数据来做测试集,然后作预测
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),                     
np.arange(y_min, y_max, h)) 
#生成网格型二维数据对
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])

(4)画出不同预测类别的区域地图以及实际训练数据的类别位置

# Create color mapscmap_light = ListedColormap(['#FFAAAA', '#AAFFAA', '#AAAAFF']) #给不同区域赋以颜色cmap_bold = ListedColormap(['#FF0000', '#003300', '#0000FF'])#给不同属性的点赋以颜色#将预测的结果在平面坐标中画出其类别区域Z = Z.reshape(xx.shape)plt.figure()plt.pcolormesh(xx, yy, Z, cmap=cmap_light)# 也画出所有的训练集数据plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold)plt.xlim(xx.min(), xx.max())plt.ylim(yy.min(), yy.max())plt.show()

得到结果为:

结果可以看出,预测区域能够涵盖大部分的训练数据,除了少部分训练数据分布异常外(如部分红色点进入绿色区域,蓝色点进入红色区域)。

3.分类器RadiusNeighborsClassifier的python实现以及结果的可视化

其步骤与2中KNeighborsClassifier步骤基本相同,主要是在拟合与预测上采用KNeighborsClassifier分类函数,整个代码为:

clf1 = neighbors.RadiusNeighborsClassifier(10.0, weights='distance')
clf1.fit(X, y)Z1 = clf1.predict(np.c_[xx.ravel(), yy.ravel()])
Z1 = Z1.reshape(xx.shape)plt.figure()
plt.pcolormesh(xx, yy, Z1, cmap=cmap_light)
# 也画出所有的训练集数据plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold)
plt.xlim(xx.min(), xx.max())plt.ylim(yy.min(), yy.max())plt.show()

得到结果:

此图与上图相比,还是有不同的,特别是绿色区域范围扩大了。哪种方法比较好呢?从可视化图形不容易看出,可视化只能直观看出二者的结果差异性,最好的评价二者分类优劣的方法就是计算其预测的误差率(loss funtion)或者准确率(预测正确的个数占总数的比例)。

原文发布于微信公众号 - 数据科学与人工智能(DS_AI_shujuren)

原文发表时间:2017-10-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能LeadAI

卷积,特征图,转置卷积和空洞卷积的计算细节

最近在做姿态估计的项目,在定制和实现卷积网络的时候发现自己对里面的一些计算细节还不够了解,所以整理了该文章,内容如下:

1634
来自专栏超然的博客

MIT-线性代数笔记(1-6)

  对方程组中某个方程进行时的那个的数乘和加减,将某一未知系数变为零,来削弱未知数个数

1232
来自专栏人工智能LeadAI

卷积神经网络 | 深度学习笔记1

一、初识卷积网络结构 01 概览 前面已经做过手写体识别的任务。之前我们只是使用了两层的全连接层,或者根据喜好多加几层。我更喜欢把这样的结构叫做多层感知机,即使...

3037
来自专栏梦里茶室

读论文系列:Object Detection ICCV2015 Fast RCNN

Fast RCNN是对RCNN的性能优化版本,在VGG16上,Fast R-CNN训练速度是RCNN的9倍, 测试速度是RCNN213倍;训练速度是SPP-ne...

3676
来自专栏AI深度学习求索

图像分割算法之FCNs in the Wild论文详解

减小源域和目标域之间的域间差异,使得使用源域的图片和Label训练的分割模型可以用于目标域的分割。

1511
来自专栏PaddlePaddle

卷积层

深度学习基础理论-CNN篇 卷积层 卷积层(convolution layer)是卷积神经网络中的基础操作,甚至在网络最后起分类作用的全连接层在工程实现时也...

4059
来自专栏技术随笔

[Detection] CNN 之 "物体检测" 篇IndexRCNNFast RCNNFaster RCNNR-FCNYOLOSSDNMS

43010
来自专栏我是攻城师

opencv里面直方图的意义

3276
来自专栏张俊红

机器学习中的特征选择

总第98篇 本篇讲解一些特征工程部分的特征选择(feature_selection),主要包括以下几方面: 特征选择是什么 为什么要做特征选择 特征选择的基本原...

4925
来自专栏人工智能LeadAI

计算机视觉任务:图像梯度和图像完成

该笔记是以斯坦福cs231n课程的python编程任务为主线,展开对该课程主要内容的理解和部分数学推导。这篇文章是关于计算机视觉处理的,分为两篇文章撰写完成。此...

4037

扫码关注云+社区