关于《Python数据挖掘入门与实战》读书笔记六（主成分分析一）

import os
import pandas as pd
#http://archive.ics.uci.edu/ml/datasets/Adult, Data Folder,adult.data and adult.names
data_folder = ''
adult_filename = os.path.join(data_folder, "adult.data")
adult = pd.read_csv(adult_filename, header=None,
                    names=["Age", "Work-Class", "fnlwgt", "Education", "Education-Num", "Marital-Status",
                            "Occupation", "Relationship", "Race", "Sex", "Capital-gain", "Capital-loss",
                            "Hours-per-week", "Native-Country", "Earnings-Raw"])
#观察数据
print(adult[:5])
#删除包含无效数字的行
adult.dropna(how='all', inplace=True)
print(adult.columns )
adult["LongHours"] = adult["Hours-per-week"] > 40
print(adult[:5])
#------------------------特征选取---------------------
# 降低复杂度：随着特征数量的增加，很多数据挖掘算法需要更多的时间和资源。减少特征数量，是提高算法运行速度，减少资源使用的好方法。
#  降低噪音：增加额外特征并不总会提升算法的表现,只选择合适的特征有助于减少出现没有实际意义的相关性的几率。
#  增加模型可读性：根据成千上万个特征创建的模型对我们自己来说就晦涩无比。因此，使用更少的特征，创建我们自己可以理解的模型，就很有必要
#VarianceThreshold转换器可用来删除特征值的方差达不到低标准的特征
import numpy as np
X = np.arange(30).reshape((10, 3))
#将第二列的值置为1，这样第一、三列特征值方差很大，而第二列方差为0
X[:,1] = 1
from sklearn.feature_selection import VarianceThreshold
#创建VarianceThreshold转换器，用它处理数据集。
vt = VarianceThreshold()
Xt = vt.fit_transform(X)
#因第二列方差为0，故转换器把第二列删除掉了
print(Xt)
print(vt.variances_)
#[74.25  0.   74.25]
#----------------------选取最近特征-------------------
#scikit-learn提供了几个用于选择单变量特征的转换器
# SelectKBest返回k个佳 特征，
# SelectPercentile返回表现佳的前r%个特征
#首先，选取下述特征，从pandas数据框中抽 取一部分数据。
X = adult[["Age", "Education-Num", "Capital-gain", "Capital-loss",   "Hours-per-week"]].values
#判断Earnings-Raw（税前收入）是否达到五万美元，创建目标类别列表。如果达到， 类别为True，否则，类别为False。
y = (adult["Earnings-Raw"] == ' >50K').values
#再使用SelectKBest转换器类，用卡方函数打分，初始化转换器。
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
transformer = SelectKBest(score_func=chi2, k=3)
#调用fit_transform方法，对相同的数据集进行预处理和转换
#生成分类效果好的三个特征
Xt_chi2 = transformer.fit_transform(X, y)
#目前只能通过Xt_chi2的数据样例才知道保留了哪几列
#生成的矩阵只包含三个特征。我们还可以得到每一列的相关性，这样就可以知道都使用了哪些特征
#相关性好的分别是第一、三、四列，分别对应着Age（年龄）、Capital-Gain（资本收 益）和Capital-Loss（资本损失）三个特征
print(Xt_chi2[:5])
print(transformer.scores_)
#[8.60061182e+03 2.40142178e+03 8.21924671e+07 1.37214589e+06  6.47640900e+03]
#皮尔逊相关系数
from scipy.stats import pearsonr
def multivariate_pearsonr(X, y):
#创建scores和pvalues数组，遍历数据集的每一列。
    scores, pvalues = [], []
    for column in range(X.shape[1]):
        #只计算该列的皮尔逊相关系数和p值，并将其存储到相应数组中。
        cur_score, cur_p = pearsonr(X[:, column], y)
        scores.append(abs(cur_score))
        pvalues.append(cur_p)
    return (np.array(scores), np.array(pvalues))
#以像之前那样使用转换器类，根据皮尔逊相关系数对特征进行排序。
transformer = SelectKBest(score_func=multivariate_pearsonr, k=3)
Xt_pearson = transformer.fit_transform(X, y)
print(Xt_pearson[:5])
#第一、二、五列：Age、 Education和Hours-per-week
print(transformer.scores_)

from sklearn.tree import DecisionTreeClassifier
from sklearn.cross_validation import cross_val_score
clf = DecisionTreeClassifier(random_state=14)
scores_chi2 = cross_val_score(clf, Xt_chi2, y, scoring='accuracy')
scores_pearson = cross_val_score(clf, Xt_pearson, y, scoring='accuracy')
print(scores_chi2)
print(scores_pearson)
print("Chi2 performance: {0:.3f}".format(scores_chi2.mean()))
print("Pearson performance: {0:.3f}".format(scores_pearson.mean()))
#chi2方法的平均正确率为0.83，而皮尔逊相关系数正确率为0.77。用卡方检验得到的特征组 合效果更好！