Python进行特征提取

#过滤式特征选择
#根据方差进行选择,方差越小,代表该属性识别能力很差,可以剔除
from sklearn.feature_selection import VarianceThreshold
x=[[100,1,2,3],
   [100,4,5,6],
   [100,7,8,9],
   [101,11,12,13]]
selector=VarianceThreshold(1)  #方差阈值值,
selector.fit(x)
selector.variances_  #展现属性的方差
selector.transform(x)#进行特征选择
selector.get_support(True)  #选择结果后,特征之前的索引
selector.inverse_transform(selector.transform(x)) #将特征选择后的结果还原成原始数据
                                                  #被剔除掉的数据,显示为0
                                                  
#单变量特征选择
from sklearn.feature_selection import SelectKBest,f_classif
x=[[1,2,3,4,5],
   [5,4,3,2,1],
   [3,3,3,3,3],
   [1,1,1,1,1]]
y=[0,1,0,1]
selector=SelectKBest(score_func=f_classif,k=3)#选择3个特征,指标使用的是方差分析F值
selector.fit(x,y)
selector.scores_ #每一个特征的得分
selector.pvalues_
selector.get_support(True) #如果为true,则返回被选出的特征下标,如果选择False,则
                            #返回的是一个布尔值组成的数组,该数组只是那些特征被选择
selector.transform(x)
 
 
#包裹时特征选择
from sklearn.feature_selection import RFE
from sklearn.svm import LinearSVC  #选择svm作为评定算法
from sklearn.datasets import load_iris #加载数据集
iris=load_iris()
x=iris.data
y=iris.target
estimator=LinearSVC()
selector=RFE(estimator=estimator,n_features_to_select=2) #选择2个特征
selector.fit(x,y)
selector.n_features_   #给出被选出的特征的数量
selector.support_      #给出了被选择特征的mask
selector.ranking_      #特征排名,被选出特征的排名为1
 
#注意:特征提取对于预测性能的提升没有必然的联系,接下来进行比较;
from sklearn.feature_selection import RFE
from sklearn.svm import LinearSVC
from sklearn import cross_validation
from sklearn.datasets import load_iris
 
#加载数据
iris=load_iris()
X=iris.data
y=iris.target
#特征提取
estimator=LinearSVC()
selector=RFE(estimator=estimator,n_features_to_select=2)
X_t=selector.fit_transform(X,y)
#切分测试集与验证集
x_train,x_test,y_train,y_test=cross_validation.train_test_split(X,y,
                                    test_size=0.25,random_state=0,stratify=y)
x_train_t,x_test_t,y_train_t,y_test_t=cross_validation.train_test_split(X_t,y,
                                    test_size=0.25,random_state=0,stratify=y)
 
 
clf=LinearSVC()
clf_t=LinearSVC()
clf.fit(x_train,y_train)
clf_t.fit(x_train_t,y_train_t)
print('origin dataset test score:',clf.score(x_test,y_test))
#origin dataset test score: 0.973684210526
print('selected Dataset:test score:',clf_t.score(x_test_t,y_test_t))
#selected Dataset:test score: 0.947368421053
 
import numpy as np
from sklearn.feature_selection import RFECV
from sklearn.svm import LinearSVC
from sklearn.datasets import load_iris
iris=load_iris()
x=iris.data
y=iris.target
estimator=LinearSVC()
selector=RFECV(estimator=estimator,cv=3)
selector.fit(x,y)
selector.n_features_
selector.support_
selector.ranking_
selector.grid_scores_

#嵌入式特征选择
import numpy as np
from sklearn.feature_selection import SelectFromModel
from sklearn.svm import LinearSVC
from sklearn.datasets import load_digits
digits=load_digits()
x=digits.data
y=digits.target
estimator=LinearSVC(penalty='l1',dual=False)
selector=SelectFromModel(estimator=estimator,threshold='mean')
selector.fit(x,y)
selector.transform(x)
selector.threshold_
selector.get_support(indices=True)
 
#scikitlearn提供了Pipeline来讲多个学习器组成流水线,通常流水线的形式为:将数据标准化,
#--》特征提取的学习器————》执行预测的学习器,除了最后一个学习器之后,
#前面的所有学习器必须提供transform方法,该方法用于数据转化(如归一化、正则化、
#以及特征提取
#学习器流水线(pipeline)
from sklearn.svm import LinearSVC
from sklearn.datasets import load_digits
from sklearn import cross_validation
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
def test_Pipeline(data):
    x_train,x_test,y_train,y_test=data
    steps=[('linear_svm',LinearSVC(C=1,penalty='l1',dual=False)),
           ('logisticregression',LogisticRegression(C=1))]
    pipeline=Pipeline(steps)
    pipeline.fit(x_train,y_train)
    print('named steps',pipeline.named_steps)
    print('pipeline score',pipeline.score(x_test,y_test))
    
if __name__=='__main__':
    data=load_digits()
    x=data.data
    y=data.target
    test_Pipeline(cross_validation.train_test_split(x,y,test_size=0.25,
                                    random_state=0,stratify=y))

本文分享自微信公众号 - 数据科学与人工智能(DS_AI_shujuren),作者:转自:CSDN

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【Python环境】Scikit-Learn:开源的机器学习Python模块

    scikit-learn是一个用于机器学习的 Python 模块,建立在SciPy基础之上,获得3-Clause BSD 开源许可证。这个项目是由 David ...

    陆勤_数据人网
  • 【陆勤践行】奇异值分解 - 最清晰易懂的svd 科普

    在这篇文章中,我们以几何的视角去观察矩阵奇异值分解的过程,并且列举一些奇异值分解的应用。 介绍 矩阵奇异值分解是本科数学课程中的必学部分,但往往被大家忽略。这个...

    陆勤_数据人网
  • 数据驱动运营案例

    作者:腾讯大数据 全文共 6212 字,阅读需要 12 分钟 —— BEGIN —— 数据分析对于运营来说是一个数据抽象的过程。 现实情况是连续的、复杂的、互相...

    陆勤_数据人网
  • Python实现的特征提取操作示例

    更多关于Python相关内容感兴趣的读者可查看本站专题:《Python数据结构与算法教程》、《Python编码操作技巧总结》、《Python函数使用技巧总结》、...

    砸漏
  • 数感一分钟 | 小猫数钟声

    用户7378374
  • springcloud gateway 自定义协议转化实现

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    张泽旭
  • CVPR2020 | 最新Scene Graph Generation开源框架与SGG的一些碎碎念

    2019上半年跌跌撞撞地搞了很多乱七八糟的东西但都没work,尤其让我酸的是我上半年没做work的一个VQA的idea居然在同年ICCV看到一篇极其相似的文章,...

    Amusi
  • Lync Server 2010标准版前端服务器迁移之一:新建中央站点(上)

    前面两篇讲到Lync AD域控、CA证书颁发机构从物理机迁移至虚拟机,本篇开始,讲解如何把Lync Server 2010标准版从物理机迁移至虚拟机。

    杨强生
  • 6.2 Spring Boot集成jpa6.2 Spring Boot集成jpa小结

    Java持久化API(JPA,Java Persistence API)是一个将对象映射为关系数据库的标准技术。JPA通过注解或XML描述ORM(Object ...

    一个会写诗的程序员
  • Vi编辑器 转

    vi编辑器通常被简称为vi,而vi又是visual editor的简称  。vi编辑器是Linux和Unix上最基本的文本编辑器,工作在字符模式下。由于不需要图...

    wuweixiang

扫码关注云+社区

领取腾讯云代金券