机器学习100天-Day10 Tensorflow实现KNN算法

基于github上的一个学习项目进行https://github.com/Avik-Jain/100-Days-Of-ML-Code

由浅入深，省去前期手工推导，练习中引入库来完成。

一般一天更新一次练习，我会将里面的英文引导翻译成中文。

代码已经进行更新，我的github地址：https://github.com/jwc19890114/-02-learning-file-100days

今天进入第八天，昨天使用sklearn中打包的KNeighborsClassifier()完成KNN分类器，今天使用Tensorflow来重写。

欧氏距离

d(x,y)=\sqrt{\Sigma_^1(x_k-y_k)^2}

d(x,y)=

(

算法思路

计算待分类样本和样本空间中已标记的样本的欧氏距离

取得最短距离的K个点并对K个点所属标签进行计数。

算法优缺点

优点

算法简单有效

缺点

一方面计算量大。当训练集比较大的时候，每一个样本分类都要计算与所有的已标记样本的距离。解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本（例如在样本空间进行划分区域）。

另一方面是当已标记样本是不平衡，分类会向占样本多数的类倾斜。解决方案是引进权重。

引入库和数据集

生成训练集和测试集，初始化训练张量和测试张量

几个基本运算

tf.abs取绝对值

tf.negative取负，y=-x

安照reduction_indices指定的轴进行求和

tf.arg_min()返回张量维度上最小值的索引