再免费多看一章--knn

算法很简单，对待分类样本实施近邻投票。其中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别。

在《白话大数据与机器学习》里使用了sklearn里的KNeighborsClassifier来处理数据：

训练模型 clf = KNeighborsClassifier().fit(x, y)

预测数据 clf.predict(x)

这里我们来实现一下k-近邻算法，看看该算法具体是如果实现的。

1 准备数据

首先我们需要一些训练数据 这里使用鸢尾花数据 https://en.wikipedia.org/wiki/Iris_flower_data_set。

这里x是一个(150, 4)2维数组，总共150条数据，打印其中的5条数据看一下:

[[5.1, 3.5, 1.4, 0.2],

[4.9, 3.0, 1.4, 0.2],

[4.7, 3.2, 1.3, 0.2],

[4.6, 3.1, 1.5, 0.2],

[5.0, 3.6, 1.4, 0.2],

... ...]

可以看到每条数据都有4个特征项分别是: 萼片的长度，萼片的宽度，花瓣的长度，花瓣的宽度

y是x里每条数据对应的分类：

[0, 0, 1, 1, 2, ...]

可以看到x里对应的分类总共有3种[0，1，2]。

2 训练模型

不用训练

3. 预测数据

计算待预测数据与训练样本中每条数据之间的距离：

[0.538, 0.509, 0.3, 0.648, 0.141, 0.616, ...]

对计算出来的结果排序：

[0.0, 0.3, 0.141, 0.538, 0.616, ...]

对距离最小的K条数据所属分类进行投票，这里假设K=3：

[{0: 3, 1: 0, 2: 0}]

可以看到属于分类0的有3条，属于分类1和2的有0条

完整代码可以访问github进行下载 https://github.com/azheng333/Ml_Algorithm.git。