再免费多看一章--knn

算法很简单,对待分类样本实施近邻投票。其中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别。

在《白话大数据与机器学习》里使用了sklearn里的KNeighborsClassifier来处理数据:

训练模型 clf = KNeighborsClassifier().fit(x, y)

预测数据 clf.predict(x)


这里我们来实现一下k-近邻算法,看看该算法具体是如果实现的。

1 准备数据

首先我们需要一些训练数据 这里使用鸢尾花数据 https://en.wikipedia.org/wiki/Iris_flower_data_set

这里x是一个(150, 4)2维数组,总共150条数据,打印其中的5条数据看一下:

[[5.1, 3.5, 1.4, 0.2],

[4.9, 3.0, 1.4, 0.2],

[4.7, 3.2, 1.3, 0.2],

[4.6, 3.1, 1.5, 0.2],

[5.0, 3.6, 1.4, 0.2],

... ...]

可以看到每条数据都有4个特征项分别是: 萼片的长度,萼片的宽度,花瓣的长度,花瓣的宽度

y是x里每条数据对应的分类:

[0, 0, 1, 1, 2, ...]

可以看到x里对应的分类总共有3种[0,1,2]。

2 训练模型

不用训练

3. 预测数据

计算待预测数据与训练样本中每条数据之间的距离:

[0.538, 0.509, 0.3, 0.648, 0.141, 0.616, ...]

对计算出来的结果排序:

[0.0, 0.3, 0.141, 0.538, 0.616, ...]

对距离最小的K条数据所属分类进行投票,这里假设K=3:

[{0: 3, 1: 0, 2: 0}]

可以看到属于分类0的有3条,属于分类1和2的有0条

完整代码可以访问github进行下载 https://github.com/azheng333/Ml_Algorithm.git。

原文发布于微信公众号 - 奇点(qddata)

原文发表时间:2016-09-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能LeadAI

黑猿大叔-译文 | TensorFlow实现Batch Normalization

原文:Implementing Batch Normalization in Tensorflow(https://r2rt.com/implementing-...

5558
来自专栏大数据挖掘DT机器学习

机器学习-R-特征选择

特征选择是实用机器学习的重要一步,一般数据集都带有太多的特征用于模型构建,如何找出有用特征是值得关注的内容。 1. Feature selection: Al...

5468
来自专栏机器学习算法工程师

趣谈深度学习核心----激活函数

作者:詹晓辉 编辑:王抒伟 当你在苦扒图像处理方法得时候 他在用深度学习 当你在干瞪切片像素得时候 他在用深度学习 当你在愁思小偷是谁得时候 他在用深度学习 当...

3817
来自专栏量化投资与机器学习

深度学习Matlab工具箱代码注释之cnnbp.m

%%========================================================================= %...

2335
来自专栏编程

CNN之文本分类之网络结构

本文主要是基于Yoon Kim的Convolutional Neural Networks for Sentence Classification,用中文重新梳...

2556
来自专栏机器学习算法工程师

干货|(DL~2)一看就懂的卷积神经网络

文章来自:https://leonardoaraujosantos.gitbooks.io 作者:Leonardo Araujo dos Santos

1121
来自专栏Petrichor的专栏

深度学习: 参数初始化

好的开始是成功的一半。 为了让你的模型跑赢在起跑线 ε=ε=ε=(~ ̄▽ ̄)~ ,请慎重对待参数初始化。

3993
来自专栏专知

理解多层CNN中转置卷积的反向传播(附代码)

1.6K3
来自专栏文武兼修ing——机器学习与IC设计

基于Pytorch的MLP实现基于Pytorch的MLP实现

基于Pytorch的MLP实现 目标 使用pytorch构建MLP网络 训练集使用MNIST数据集 使用GPU加速运算 要求准确率能达到92%以上 保存模型 实...

56111
来自专栏PPV课数据科学社区

TensorFlow基本操作 实现卷积和池化

之前已经提到过图像卷积的操作和意义,并且用OpenCV中的filter2D函数实现了一些例子。OpenCV中的filter2D函数仅仅是用一个卷积核去卷积单个的...

1112

扫码关注云+社区

领取腾讯云代金券