前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python 数据标准化常用方法,z-score\min-max标准化

python 数据标准化常用方法,z-score\min-max标准化

作者头像
学到老
发布2019-01-25 14:31:47
16.8K0
发布2019-01-25 14:31:47
举报
文章被收录于专栏:深度学习之tensorflow实战篇
数据标准化

在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种,常用的有"最小-最大标准化"、"Z-score标准化"和"按小数定标标准化"等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。

常见的几种形式

通常数据标准化有以下几种:

Min-max 标准化数据缩放:

x’=x−xminxmax−xminx’ = \frac{x-x_{min}}{x_{max}-x_{min}}x’=xmax​−xmin​x−xmin​​

min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值,将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x’,其公式为:

新数据=(原数据-最小值)/(最大值-最小值)

z-score 标准化

这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x’。z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。将数据按其属性(按列进行)减去其均值,然后除以其方差。最后得到的结果是,对每个属性/每列来说所有数据都聚集在0附近,方差值为1。 x’=x−μδ μ为数据的均值 δ为方差x’ = \frac{x-\mu}{\delta} \ \mu为数据的均值 \ \delta为方差x’=δx−μ​ μ为数据的均值 δ为方差

Python标准化预处理函数:
代码语言:javascript
复制
preprocessing.scale(X,axis=0, with_mean=True, with_std=True, copy=True):

将数据转化为标准正态分布(均值为0,方差为1)

代码语言:javascript
复制
preprocessing.minmax_scale(X,feature_range=(0, 1), axis=0, copy=True):

将数据在缩放在固定区间,默认缩放到区间 [0, 1]

代码语言:javascript
复制
preprocessing.maxabs_scale(X,axis=0, copy=True):

数据的缩放比例为绝对值最大值,并保留正负号,即在区间 [-1.0, 1.0] 内。唯一可用于稀疏数据 scipy.sparse的标准化

代码语言:javascript
复制
preprocessing.robust_scale(X,axis=0, with_centering=True, with_scaling=True,copy=True):

通过 Interquartile Range (IQR) 标准化数据,即四分之一和四分之三分位点之间

对应的标准化预处理类:
classpreprocessing.StandardScaler(copy=True, with_mean=True,with_std=True):

标准正态分布化的类 属性:

代码语言:javascript
复制
scale_:ndarray,缩放比例
mean_:ndarray,均值
var_:ndarray,方差
n_samples_seen_:int,已处理的样本个数,调用partial_fit()时会累加,调用fit()会重设
classpreprocessing.MinMaxScaler(feature_range=(0, 1),copy=True):

将数据在缩放在固定区间的类,默认缩放到区间 [0, 1],对于方差非常小的属性可以增强其稳定性,维持稀疏矩阵中为0的条目 属性:

代码语言:javascript
复制
min_:ndarray,缩放后的最小值偏移量
scale_:ndarray,缩放比例
data_min_:ndarray,数据最小值
data_max_:ndarray,数据最大值
data_range_:ndarray,数据最大最小范围的长度
classpreprocessing.MaxAbsScaler(copy=True):

数据的缩放比例为绝对值最大值,并保留正负号,即在区间 [-1.0, 1.0] 内。可以用于稀疏数据scipy.sparse 属性:

代码语言:javascript
复制
scale_:ndarray,缩放比例
max_abs_:ndarray,绝对值最大值
n_samples_seen_:int,已处理的样本个数
代码语言:javascript
复制
classpreprocessing.RobustScaler(with_centering=True,with_scaling=True, copy=True):

通过 Interquartile Range (IQR) 标准化数据,即四分之一和四分之三分位点之间 属性:

代码语言:javascript
复制
center_:ndarray,中心点
scale_:ndarray,缩放比例
classpreprocessing.KernelCenterer:

生成 kernel 矩阵,用于将 svm kernel 的数据标准化(参考资料不全)

以上几个标准化类的方法:

fit(X[,y]):根据数据 X 的值,设置标准化缩放的比例 transform(X[,y, copy]):用之前设置的比例标准化 X fit_transform(X[, y]):根据 X设置标准化缩放比例并标准化 partial_fit(X[,y]):累加性的计算缩放比例 inverse_transform(X[,copy]):将标准化后的数据转换成原数据比例 get_params([deep]):获取参数 set_params(**params):设置参数

数据归一化
代码语言:javascript
复制
preprocessing.normalize(X,norm='l2', axis=1, copy=True):

将数据归一化到区间 [0, 1],norm 可取值 ‘l1’、‘l2’、‘max’。可用于稀疏数据 scipy.sparse

代码语言:javascript
复制
classpreprocessing.Normalizer(norm='l2', copy=True):

数据归一化的类。可用于稀疏数据 scipy.sparse

代码语言:javascript
复制
方法:fit(X[,y])、transform(X[, y,copy])、fit_transform(X[,y])、get_params([deep])、
set_params(**params)

数据二值化

代码语言:javascript
复制
preprocessing.binarize(X,threshold=0.0, copy=True):

将数据转化为 0 和 1,其中小于等于 threshold 为 0,可用于稀疏数据 scipy.sparse

代码语言:javascript
复制
classpreprocessing.Binarizer(threshold=0.0,copy=True):

二值化处理的类,可用于稀疏数据 scipy.sparse

方法:fit(X[,y])、transform(X[, y,copy])、fit_transform(X[,y])、get_params([deep])、set_params(**params),其中fit 函数不会做任何操作

类别数据编码

数据的某些特征是文本,特征是无序的,比如国籍,但数字是有序的,所以不能直接用数字编码

代码语言:javascript
复制
classpreprocessing.OneHotEncoder(n_values='auto',categorical_features='all', dtype='float', sparse=True,handle_unknown='error'):

将具有多个类别的特征转换为多维二元特征,所有二元特征互斥,当某个二元特征为 1 时,表示取某个类别 参数: n_values:处理的类别个数,可以为‘auto’,int或者 int数组 categorical_features:被当作类别来处理的特征,可以为“all”或者下标数组指定或者mask数组指定 属性: active_features_:ndarray,实际处理的类别数 feature_indices_:ndarray,第 i个原特征在转换后的特征中的下标在 feature_indices_[i] 和 feature_indices_[i+1]之间 n_values_:ndarray,每维的类别数 方法:fit(X[, y])、transform(X[, y,copy])、fit_transform(X[,y])、get_params([deep])、set_params(**params)

代码语言:javascript
复制
classpreprocessing.LabelBinarizer(neg_label=0, pos_label=1,sparse_output=False):

和 OneHotEncoder 类似,将类别特征转换为多维二元特征,并将每个特征扩展成用一维表示 属性: classes:ndarry,所有类别的值 y_type_:str multilabel_:bool sparse_input_:bool indicator_matrix_:str 方法:fit(X[,y])、transform(X[, y,copy])、fit_transform(X[,y])、inverse_transform(y)、get_params([deep])、set_params(**params)

preprocessing.label_binarize(y,classes, neg_label=0, pos_label=1, sparse_output=False): LabelBinarizer 类对应的处理函数 classpreprocessing.LabelEncoder: 将类别特征标记为 0 到 n_classes - 1 的数 方法:fit(X[,y])、transform(X[, y,copy])、fit_transform(X[,y])、inverse_transform(y)、get_params([deep])、set_params(**params) classpreprocessing.MultiLabelBinarizer(classes=None,sparse_output=False): 和 LabelBinarizer 类似

feature_extraction.DictVectorizer类 patsy包

数据缺失
代码语言:javascript
复制
classpreprocessing.Imputer(missing_values='NaN',strategy='mean', axis=0, verbose=0, copy=True):

参数:

代码语言:javascript
复制
missing_values:int 或者“NaN”,对np.nan的值用 "NaN"
strategy:"mean"、"median"、"most_frequent"

属性:

代码语言:javascript
复制
statistics_:ndarray,当axis==0时,取每列填补时用的值

方法:fit(X[,y])、transform(X[, y,copy])、fit_transform(X[,y])、get_params([deep])、set_params(**params)

生成多项式数据

可以将数据多项式结合生成多维特征,比如 [a,b] 的二次多项式特征为 [1, a, b, a^2, ab, b^2]

代码语言:javascript
复制
classpreprocessing.PolynomialFeatures(degree=2,interaction_only=False, include_bias=True):

参数:

代码语言:javascript
复制
degree:int,多项式次数
interaction_only:boolean,是否只产生交叉相乘的特征
include_bias:boolean,是否包含偏移列,即全为1 的列
属性:
powers_:ndarray,二维数组。powers_[i,j] 表示第 i 维输出中包含的第 j 维输入的次数
n_input_features_:int,输入维数
n_output_features_:int,输出维数

方法: fit(X[,y])、transform(X[, y,copy])、fit_transform(X[,y])、get_params([deep])、set_params(**params)

增加伪特征
代码语言:javascript
复制
preprocessing.add_dummy_feature(X,value=1.0):

在 X 的第一列插入值为 value 的列

自定义数据转换

可以使用自定义的 python函数来转换数据

代码语言:javascript
复制
classpreprocessing.FunctionTransformer(func=None,validate=True, accept_sparse=False, pass_y=False):

方法:

代码语言:javascript
复制
fit(X[,y])、transform(X[, y,copy])、fit_transform(X[,y])、get_params([deep])、set_params(**params)
案例

自己写一个公式来进行标准化:

代码语言:javascript
复制
def my_scale(data):
    mean = sum(data) / len(data)  #先求均值
    variance = ( sum([ (I-mean) ** 2 for I in data])  ) / len(data)  #再求方差
    normal = [(I - mean) / (variance ) ** 0.5 for I in data]  #按照公式标准化
    return normal

利用pandas处理 对每一列进行标准化(每个数值在0-1之间)

代码语言:javascript
复制
import numpy as np  
import pandas as pd  
np.random.seed(1)  
df = pd.DataFrame(np.random.randn(4,4)* 4 + 3)  
方法一  
df=df.apply(lambda x: (x - np.min(x)) / (np.max(x) - np.min(x)))    
方法二  
df=(df - df.min()) / (df.max() - df.min())  
使用scale方法进行标准化
代码语言:javascript
复制
from sklearn import preprocessing
import numpy as np
X_train = np.array([[ 1., -1.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])

X_scaled = preprocessing.scale(X_train)
print(X_scaled)

[[ 0. -1.22474487 1.33630621] [ 1.22474487 0. -0.26726124] [-1.22474487 1.22474487 -1.06904497]]

MaxMinScaler方法
代码语言:javascript
复制
import numpy as np
from sklearn import preprocessing

X_train = np.array([[ 1., -1.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])

min_max_sacler = preprocessing.MinMaxScaler()
min_max_sacler.fit(X_train)

print(min_max_sacler.transform(X_train))

[[0.5 0. 1. ] [1. 0.5 0.33333333] [0. 1. 0. ]]

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018年06月12日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 数据标准化
  • 常见的几种形式
    • Min-max 标准化数据缩放:
      • z-score 标准化
        • classpreprocessing.StandardScaler(copy=True, with_mean=True,with_std=True):
        • classpreprocessing.MinMaxScaler(feature_range=(0, 1),copy=True):
        • classpreprocessing.MaxAbsScaler(copy=True):
        • classpreprocessing.KernelCenterer:
        • 以上几个标准化类的方法:
    • Python标准化预处理函数:
    • 对应的标准化预处理类:
    • 数据归一化
    • 类别数据编码
    • 数据缺失
    • 生成多项式数据
    • 增加伪特征
    • 自定义数据转换
    • 案例
      • 使用scale方法进行标准化
      • MaxMinScaler方法
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档