关于《Python数据挖掘入门与实战》读书笔记三（估计器和近邻算法）

import numpy as np
 
import csv
 
import os
 
from sklearn.cross_validation import train_test_split
 
from sklearn.neighbors import KNeighborsClassifier
 
from matplotlib import pyplot as plt
 
from sklearn.cross_validation import cross_val_score
 
# 即将用到的数据集叫作电离层（Ionosphere），这些数据是由高频天线收集的。
 
# 这些天线的目 的是侦测在电离层和高层大气中存不存在由自由电子组成的特殊结构。
 
# 如果一条数据能给出特殊 结构存在的证据，这条数据就属于好的那一类（在数据集中用“g”表示），否则就是坏的（用“b” 表示）。
 
# ionosphere.data从http://archive.ics.uci.edu/ml/datasets/Ionosphere，Data Folder下，下载ionosphere.data和ionosphere.names
 
# 该数据集每行有35个值，前34个为17座天线采集的数据（每座天线采集两个数据）。
 
# 后一 个值不是“g”就是“b”，表示数据的好坏，即是否提供了有价值的信息。
 
data_filename=os.path.join('','','ionosphere.data')
 
# 创建Numpy数组X和y存放数据集。数据集大小已知，共有351行34列。
 
X=np.zeros((351,34),dtype='float') #float类型的零np数组，默认都是0
 
y=np.zeros((351,),dtype='bool') #bool类型的np数组，默认都是false
 
# 用csv模块来导入数据集文件，并创建csv阅读器对象
 
with open(data_filename,'r') as input_file:
 
    reader=csv.reader(input_file)
 
 # 遍历文件中的每一行数据。每行数据代表一组测量结果，我们可以将其称作数据集中 的一个个体。
 
 # 用枚举函数来获得每行的索引号，在下面更新数据集X中的某一个体时会用到行号
 
 for i,row in enumerate(reader):
 
 # 获取每一个个体的前34个值，将其强制转化为浮点型，保存到X中。
 
        data=[float(datum) for datum in row[:-1]]
 
        X[i]=data
 
 # 获取每个个体后一个表示类别的值，把字母转化为数字，如果类别为“g”，值为1， 否则值为0。
 
        y[i]=row[-1]=='g'
 
# 导入并运行train_test_split函数，创建训练集和测试集,默认为75%的训练集。
 
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=14)
 
# 导入K近邻分类器这个类，并为其初始化一个实例。
 
# 现阶段，参数用默认的即可，后面再讲参数调优。该算法默认选择5个近邻作为分类依据。
 
estimator = KNeighborsClassifier()
 
# 用训练数据进行训练。
 
# K近邻估计器分析训练集中的数据，比较待分类的新数据点和训练集中的数据，找到新数据点的近邻。
 
estimator.fit(X_train, y_train)
 
# 用测试集测试算法，评估它在测试集上的表
 
y_predicted = estimator.predict(X_test)
 
# 正常情况下，mean是取平均值，此处是返回条件成立的占比
 
accuracy = np.mean(y_test == y_predicted) * 100
 
print("The accuracy is {0:.1f}%".format(accuracy))
 
# -------------版本2，打印测试集、实际结果、预测结果-------------
 
# 将一维数组a转化为二维数组
 
#a = np.array([1,2,3]);
 
#b = np.array([[1],[2],[3]]);
 
#a = a[:,np.newaxis];
 
#c = np.concatenate((b,a),axis=1)
 
# 此处主要是为了将预测值和实际值打印出来，有个直观的对比
 
print(np.concatenate((X_test,y_test[:,np.newaxis],y_predicted[:,np.newaxis]),axis=1))
 
# ---------------------------------------------------------------
 
# -------------版本3，交叉验证解决一次性测试问题-----------------
 
#交叉检验能解决一次性测试所带来的问题
 
#cross_val_score默认使用Stratified K Fold方法切分数据集，它大体上保 证切分后得到的子数据集中类别分布相同，以避免某些子数据集出现类别分布失 衡的情况。
 
scores = cross_val_score(estimator, X, y, scoring='accuracy')
 
#score为得到几次验证的正确率
 
print(scores)
 
average_accuracy = np.mean(scores) * 100
 
print("The average accuracy is {0:.1f}%".format(average_accuracy))
 
# ---------------------------------------------------------------
 
# -------------版本4，调整近邻值以观察不同结果-------------------
 
avg_scores = []
 
max_scores = []
 
min_scores = []
 
all_scores = []
 
parameter_values = list(range(1, 21))
 
# 列n_neighbors的值，比如从1到20，可以重复进行多次实验
 
for n_neighbors in parameter_values:
 
    estimator = KNeighborsClassifier(n_neighbors=n_neighbors)
 
    scores = cross_val_score(estimator, X, y, scoring='accuracy')
 
 # 把不同n_neighbors值的得分和平均分保存起来，留作分析用。
 
    avg_scores.append(np.mean(scores))
 
    max_scores.append(np.max(scores))
 
    min_scores.append(np.min(scores))
 
    all_scores.append(scores)
 
# matplotlib打印趋势情况
 
# 整体趋势是随着近邻数的增加，正确率不断下降
 
plt.plot(parameter_values, avg_scores, '-o')
 
plt.plot(parameter_values, max_scores, '-+')
 
plt.plot(parameter_values, min_scores, '--')
 
plt.show()
 
# ---------------------------------------------------------------