sklearn中的这些特征工程技术都掌握了吗?

特征工程

数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上 限而已。根据特征使用方案,有计划地获取、处理和监控数据和特征的工作称之为特征工程,目的是 最大限度地从原始数据中提取特征以供算法和模型使用。

根据特征选择的形式又可以将特征选择方法分为3种:

sklearn中的feature_selection库来进行特征选择

  • Filter:

过滤法:按照发散性或者相关性对各个特征进行评分,设定阈值或者待选择阈值的 个数,选择特征。

  • Wrapper:

包装法:根据目标函数(通常是预测效果评分),每次选择若干特征,或者排 除若干特征。

  • Embedded:

嵌入法:先使用某些机器学习的算法和模型进行训练,得到各个特征的权值 系数,根据系数从大到小选择特征。类似于Filter方法,但是是通过训练来确定特征的优 劣。

采用iris数据集,iris数据集有四个特征

['sepal length (cm)',
 'sepal width (cm)',
 'petal length (cm)',
 'petal width (cm)']

Filter过滤法

  • 方差选择法 VarianceThreshold

使用方差选择法,先要计算各个特征的方差,然后根据阈值,选择方差大于阈值的特征。

from sklearn import datasets 
iris = datasets.load_iris()

from sklearn.feature_selection import VarianceThreshold
#方差选择法,返回值为特征选择后的数据 
#参数threshold为方差的阈值
vardata = VarianceThreshold(threshold=3).fit_transform(iris.data) 
print(vardata[:10]) 
输出 第三个特征  petal length
  • 相关系数法 SelectKBest

使用相关系数法,先要计算各个特征对目标值的相关系数。用feature_selection库的SelectKBest类 结合相关系数来选择特征

from sklearn.feature_selection import SelectKBest 
from scipy.stats import pearsonr import numpy as np
#选择K个最好的特征,返回选择特征后的数据
#第一个参数为计算评估特征是否好的函数,该函数输入特征矩阵和目标向量,
#输出二元组(评分,P值)的数组,数组第i项为第i个特征的评分和P值。
#在此定义为计算相关系数 
f = lambda X, Y:np.array(list(map(lambda x:pearsonr(x, Y)[0], X.T))).T
#参数k为选择的特征个数
SelectKBest(f,k=2).fit_transform(iris.data, iris.target)[:10] 

输出 
第三和第四个特征  petal length petal width 
  • 卡方检验

卡方分布

卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度,实际观测值与理论推断值之间的偏离程度就决定卡方值的大小,如果卡方值越大,二者偏差程度越大;反之,二者偏差越小;若两个值完全相等时,卡方值就为0,表明理论值完全符合。

经典的卡方检验是检验定性自变量对定性因变量的相关性。假设自变量有N种取值,因变量有M种 取值,考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距,构建统计量:

from sklearn.feature_selection import SelectKBest 
from sklearn.feature_selection import chi2
#选择K个最好的特征,返回选择特征后的数据
SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)[:10]

输出 
第三和第四个特征  petal length petal width 
  • 互信息法

经典的互信息也是评价定性自变量对定性因变量的相关性的。相关系数,卡方检验,互信息法选择 特征的原理是相似的,但相关系数通常只适合于连续特征的选择。

import numpy as np from sklearn.feature_selection import SelectKBest 
from sklearn import metrics
mic = metrics.mutual_info_score
g = lambda X, Y: np.array(list(map(lambda x:mic(x, Y), X.T))).T #选择K个最好的特征,返回特征选择后的数据 
SelectKBest(g, k=2).fit_transform(iris.data, iris.target)[:10]

输出 
第三和第四个特征  petal length petal width 

Wrapper包装法

递归消除特征法使用一个基模型来进行多轮训练,每轮训练后,消除若干权值系数的特征,再基 于新的特征集进行下一轮训练。

递归特征消除法(RFE:recursive feature elimination)

from sklearn.feature_selection import RFE 
from sklearn.linear_model import LogisticRegression
#递归特征消除法,返回特征选择后的数据 
#参数estimator为基模型 
#参数n_features_ to_select为选择的特征个数
RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)[:10]
输出:

第二和第四个特征  sepal width petal width

Embedded嵌入法

  • 基于惩罚项的特征选择法

使用带惩罚项的基模型,除了筛选出特征外,同时也进行了降维。使用feature_selection库的SelectFromModel类结合带L1惩罚项的逻辑回归模型,

from sklearn.feature_selection import SelectFromModel 
from sklearn.linear_model import LogisticRegression
#带L1惩罚项的逻辑回归作为基模型的特征选择
SelectFromModel(LogisticRegression( penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)[:10]

输出
第一,第二和第三个特征  sepal length ,sepal width ,petal length 
  • 基于树模型的特征选择法

树模型中GBDT也可用来作为基模型进行特征选择,使用feature_selection库的SelectFromModel类 结合GBDT模型,来选择特征的代码如下:

from sklearn.feature_selection import SelectFromModel 
from sklearn.ensemble import GradientBoostingClassifier
#GBDT作为基模型的特征选择 
SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)[:10]

输出 
第三和第四个特征  petal length petal width 

原文发布于微信公众号 - 数据分析1480(lsxxx2011)

原文发表时间:2019-07-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券