前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【模式识别】实验二:K近邻算法(KNN)

【模式识别】实验二:K近邻算法(KNN)

作者头像
zstar
发布2022-06-14 14:11:09
8130
发布2022-06-14 14:11:09
举报
文章被收录于专栏:往期博文

KNN是模式识别中的经典算法,本次实验就MNIST数据集来做KNN算法的实验,并结合前一次的LDA降维对数据进行进一步处理。

实验报告图片版

pdf版本可以戳这:模式识别实验报告:KNN K近邻算法

请添加图片描述
请添加图片描述

关键代码

KNN原理报告里有写,不作重复赘述。 本实验使用的编程环境是Jupyter,完整的程序代码可以戳这下载。 【模式识别】实验二:KNN,python程序代码与实验过程 这里仅贴上核心代码

MNIST数据集的导入

在本专栏之前一篇博文专门分析过,这里只上代码:

代码语言:javascript
复制
mnist = fetch_openml("mnist_784")
X, y = mnist['data'], mnist['target'] # X:data,y:label

特征标准化

特征标准化的好处:1、提高精度。2、提高计算速度

代码语言:javascript
复制
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split

scaler = StandardScaler()
X_standardized = scaler.fit_transform(X1)

数据筛选

代码语言:javascript
复制
shuffle_index = np.random.permutation(60000)  # 随机排列一个序列,返回一个排列的序列。
X1, y1 = X[shuffle_index[:10000]], y[shuffle_index[:10000]]

对KNN来说,数据筛选是很有必要的。MNIST总共7w条数据,全部都跑会跑到天荒地老~ 因此本实验随机筛选了10000条数据。

KNN实现方式一:调用sklearn的KNeighborsClassifier

代码语言:javascript
复制
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import learning_curve
from sklearn import metrics

def knn(k):
    # 测试用,记录算法的时间
    # begin_t = t.time()
    #创建一个有5个邻居的KNN分类器对象
    knn = KNeighborsClassifier(n_neighbors=k, n_jobs=-1)

    #训练模型
    model = knn.fit(X_train, y_train)

    #预测数据
    predictions = model.predict(X_test)

    #测试准确率
    accuracy = metrics.accuracy_score(y_test, predictions)
#     print ("k=",k)
#     print ('accuracy:%.2f%%'%(100*accuracy))
    return 100*accuracy
    # print("Total time: {:.2f}s".format(t.time()-begin_t))

KNN实现方式二:手动实现

代码语言:javascript
复制
def knn(k):
    accuracy = 0
    m = X_train.shape[0] # m 标记预测值数量8000 ; n 标记测试集数量 2000
    n = X_test.shape[0]
    for i in range(n):
        count = np.zeros(10)
        prediction = 0
        distance = np.zeros((m,2))
        for t in range(m):
            distance[t,0] = y_train[t]              # 储存标签和欧式距离
            distance[t,1] = np.sqrt(sum(np.power(X_train[t] - X_test[i], 2)))  # 求欧式距离
        order = distance[np.lexsort(distance.T)]    # 按第二列(距离)排序
        for j in range(k):
            a = order[j,0]
            a = a.astype(int)
            count[a] += 1   
        prediction = count.argmax()                           # 取出现次数最多的为预测值
        if prediction == y_test[i]:
            accuracy += 1
    Accuracy = accuracy/n
    return 100*Accuracy  # 化成百分数形式

简要描述下算法思路: 1、逐次遍历测试集,对每个样本计算其和训练集的欧式距离。 2、将每个训练样本到该样本欧式距离排序,选取前K个训练样本。 3、统计这K个样本的标签,测试样本的标签即为这K个样本的最多的标签。

LDA降维

代码语言:javascript
复制
# 使用Fisher进行降维 
# 注:LDA最大降维数<分类数-1
# minsit为10分类,因此维度数可以取1-8
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA
def mylda(X, y, demension):
    lda = LDA(n_components=demension)
    lda.fit(X, y)
    result_x = lda.transform(X)
    return result_x

总结

KNN需要计算每一个样本到训练样本的距离,因此训练样本越多,程序运行越慢; 优势在于程序无需经过训练,可以直接将样本进行判别分类。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-05-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 实验报告图片版
  • 关键代码
    • MNIST数据集的导入
      • 特征标准化
        • 数据筛选
          • KNN实现方式一:调用sklearn的KNeighborsClassifier
            • KNN实现方式二:手动实现
              • LDA降维
              • 总结
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档