专栏首页尾尾部落可能是最全的数据标准化教程(附python代码)

可能是最全的数据标准化教程(附python代码)

什么是数据标准化(归一化)

数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,当各指标间的水平相差很大时,如果直接用原始指标值进行分析,就会突出数值较高的指标在综合分析中的作用,相对削弱数值水平较低指标的作用。为了消除指标之间的量纲影响,保证结果的可靠性,需要进行数据标准化处理,以解决数据指标之间的可比性。

为什么要数据归一化:

1)归一化后加快了梯度下降求最优解的速度; 当存在多个特征时,如果特征数据范围不一致,可能会导致梯度下降的路径摇摆不定,效率低下。 如下图所示,蓝色的圈圈图代表的是两个特征的等高线。其中左图两个特征X1和X2的区间相差非常大,X1区间是[0,2000],X2区间是[1,5],其所形成的等高线非常尖。当使用梯度下降法寻求最优解时,很有可能走“之字型”路线(垂直等高线走),从而导致需要迭代很多次才能收敛;

而右图对两个原始特征进行了归一化,其对应的等高线显得很圆,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解。 因此如果机器学习模型使用梯度下降法求最优解时,归一化往往非常有必要,否则很难收敛甚至不能收敛。

2)归一化有可能提高精度。 一些分类器需要计算样本之间的距离(如欧氏距离),例如KNN。如果一个特征值域范围非常大,那么距离计算就主要取决于这个特征,从而与实际情况相悖(比如这时实际情况是值域范围小的特征更重要)。

常见的数据归一化方法

1) 线性归一化

也称为离差标准化,是对原始数据的线性变换,使结果值映射到[0 – 1]之间。转换函数如下:

其中max为样本数据的最大值,min为样本数据的最小值。 这种方法有个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。 #####python代码:

def Normalization(x):
    return [(float(i)-min(x))/float(max(x)-min(x)) for i in x]

# 或者调用sklearn包的方法
from sklearn import preprocessing   
import numpy as np  
X = np.array([[ 1., -1.,  2.],  
              [ 2.,  0.,  0.],  
              [ 0.,  1., -1.]])  
min_max_scaler = preprocessing.MinMaxScaler()  
X_minMax = min_max_scaler.fit_transform(X)  

1*) 如果想要将数据映射到[-1,1],则将公式换成:

x_mean表示数据的均值。

python代码:
def Normalization2(x):
    return [(float(i)-np.mean(x))/(max(x)-min(x)) for i in x]

2) 标准差标准化

也称为z-score标准化。这种方法根据原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1,其转化函数为:

其中μ为所有样本数据的均值,σ为所有样本数据的标准差。

在分类、聚类算法中,需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候,Z-score标准化表现更好。

python代码:

from sklearn import preprocessing   
import numpy as np  
X = np.array([[ 1., -1.,  2.],  
              [ 2.,  0.,  0.],  
              [ 0.,  1., -1.]])  
# calculate mean  
X_mean = X.mean(axis=0)  
# calculate variance   
X_std = X.std(axis=0)  
# standardize X  
X1 = (X-X_mean)/X_std  # 自己计算
# use function preprocessing.scale to standardize X  
X_scale = preprocessing.scale(X)  # 调用sklearn包的方法
# 最终X1与X_scale等价

3) 非线性归一化

经常用在数据分化比较大的场景,有些数值很大,有些很小。通过一些数学函数,将原始值进行映射。该方法包括 log、指数,正切等。需要根据数据分布的情况,决定非线性函数的曲线,比如log(V, 2)还是log(V, 10)等。

3.1 对数转换

y=log10(x) /log10(max)

3.2 反余切函数转换

y=atan(x)*2/PI

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • [剑指offer] 变态跳台阶

    一只青蛙一次可以跳上1级台阶,也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。

    尾尾部落
  • 使用自己的语料训练word2vec模型

    先对新闻文本进行分词,使用的是结巴分词工具,将分词后的文本保存在seg201708.txt,以备后期使用。

    尾尾部落
  • [剑指offer] 数组中重复的数字

    在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的,但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复...

    尾尾部落
  • TensorFlow编程入门(二)

    Classification 这里使用深度学习经典数据MNIST手写字符集。Classification主要就是给输入的字符集分出[0-9]十个类。它的输入图片...

    用户1148523
  • 想提升数据分析效率?快来试试BI工具吧

    商业智能(BI)工具经过几十年的不断发展,已成为大型企业进行商业决策不可缺少的工具。在BI工具问世之前,由于制作报表的时间、人力成本较高,企业数据分析一直处于被...

    数据前沿
  • TensorFlow-2: 用 CNN 识别数字

    ---- 本文结构: CNN 建立模型 code ---- 昨天只是用了简单的 softmax 做数字识别,准确率为 92%,这个太低了,今天用 CNN 来提高...

    杨熹
  • TensorFlow -2: 用 CNN 识别数字

    昨天只是用了简单的 softmax 做数字识别,准确率为 92%,这个太低了,今天用 CNN 来提高一下准确率。关于 CNN,可以看这篇:图解何为CNN简单看一...

    杨熹
  • Java程序员,如果你想要搞明白CDN,这篇应该够了!

    最近在了解边缘计算,发现我们经常听说的CDN也是边缘计算里的一部分。那么说到CDN,好像只知道它中文叫做内容分发网络。那么具体CDN的原理是什么?能够为用户在浏...

    秃顶的Java程序员
  • 一次完整 HTTP 调用涉及到的技术

    我们访问网站的时候会输入域名,而在真实网络中主机通信是通过 IP 地址进行通信的,DNS 服务器的作用就是将这域名字符串解析为对应的 IP 地址

    哲洛不闹
  • 程序员要搞明白CDN,这篇应该够了

    CDN全称叫做“Content Delivery Network”,中文叫内容分发网络。

    纯洁的微笑

扫码关注云+社区

领取腾讯云代金券