专栏首页数据社关于机器学习,你需要了解的规范化方法

关于机器学习,你需要了解的规范化方法

1. Min-max 规范化

将原始数据规范到[0-1]之间,公式如下:

  1. 新数值=(原数值-极小值)/(极大值-极小值)

代码实现:

# coding:utf-8
 
from sklearn import preprocessing
 
import numpy as np
 
# 初始化数据,每一行表示一个样本,每一列表示一个特征
 
x = np.array([[ 0., -3., 1.],
 
 [ 3., 1., 2.],
 
 [ 0., 1., -1.]])
 
# 将数据进行 [0,1] 规范化
 
min_max_scaler = preprocessing.MinMaxScaler()
 
minmax_x = min_max_scaler.fit_transform(x)
 
print (minmax_x) 

2.Z-Score规范化

假设 A 与 B 的考试成绩都为 80 分,A 的考卷满分是 100 分(及格 60 分),B 的考卷满分是 500 分(及格 300 分)。虽然两个人都考了 80 分,但是 A 的 80 分与 B 的 80 分代表完全不同的含义。

那么如何用相同的标准来比较 A 与 B 的成绩呢?Z-Score 就是用来可以解决这一问题的。

公式如下:

  1. 新数值 =(原数值 - 均值)/ 标准差。

代码实现:

from sklearn import preprocessing
 
import numpy as np
 
# 初始化数据
 
x = np.array([[ 0., -3., 1.],
 
 [ 3., 1., 2.],
 
 [ 0., 1., -1.]])
 
# 将数据进行 Z-Score 规范化
 
scaled_x = preprocessing.scale(x)
 
print (scaled_x) 

我们能看到 Z-Score 的优点是算法简单,不受数据量级影响,结果易于比较。不足在于,它需要数据整体的平均值和方差,而且结果没有实际意义,只是用于比较。3.小数定标规范 小数定标规范化就是通过移动小数点的位置来进行规范化。小数点移动多少位取决于属性 A 的取值中的最大绝对值。举个例子,比如属性 A 的取值范围是 -999 到 88,那么最大绝对值为 999,小数点就会移动 3 位,即新数值 = 原数值 /1000。那么 A 的取值范围就被规范化为 -0.999 到 0.088。代码实现:

# coding:utf-8
 
from sklearn import preprocessing
 
import numpy as np
 
# 初始化数据
 
x = np.array([[ 0., -3., 1.],
 
 [ 3., 1., 2.],
 
 [ 0., 1., -1.]])
 
# 小数定标规范化
 
j = np.ceil(np.log10(np.max(abs(x))))
 
scaled_x = x/(10**j)
 
print (scaled_x) 

本文分享自微信公众号 - 数据社(DataClub)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据挖掘从入门到放弃(一):线性回归和逻辑回归

    “ 数据挖掘算法基于线性代数、概率论、信息论推导,深入进去还是很有意思的,能够理解数学家、统计学家、计算机学家的智慧,这个专栏从比较简单的常用算法入手,后续研究...

    数据社
  • 面试,HBase如何设计rowkey

    HBase中的rowkey是按字典顺序排序的,通过rowkey查询可以对千万级的数据实现毫秒级响应。然而,如果rowkey设计不合理的话经常会出现一个很普遍的问...

    数据社
  • 从0到1搭建大数据平台之计算存储系统

    前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》,今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要...

    数据社
  • 终极DIY打造Jetson拉力赛车全过程(2)——RACECAR转向控制

    本文作者为kangalow,由Jetsoner开发者论坛版主xID翻译 本文中的圆括号内的内容均为译者注释,方括号内的内容为原文作者注释 在Jetson RAC...

    GPUS Lady
  • 如何在 Ubuntu 20.04 上安装 KVM

    KVM(基于内核的虚拟机)是一个内置于Linux内核的开源虚拟化技术。它允许你基于 Linux 或者 Windows 运行多个隔离的客户机虚拟机器。每一个客户机...

    雪梦科技
  • 单机数据库的实现(上)

    在服务器内部,客户端状态redisClient结构的db属性记录了客户端当前的目标数据库。

    用户7962184
  • Java开发必须掌握的 21 个 Java 核心技术!

    写这篇文章的目的是想总结一下自己这么多年来使用java的一些心得体会,希望可以给大家一些经验,能让大家更好学习和使用Java。

    用户4447430
  • Java开发必须掌握的 21 个 Java 核心技术!

    写这篇文章的目的是想总结一下自己这么多年来使用java的一些心得体会,希望可以给大家一些经验,能让大家更好学习和使用Java。

    三哥
  • 增量学习不只有finetune,三星AI提增量式少样本目标检测算法 | CVPR 2020

    该论文研究了非常有意义的增量式少样本目标检测场景iFSD(Incremental Few-Shot Detection),场景设置如下:

    AI科技大本营
  • Java编程基础知识点和技术点归纳

    Java是一种可以撰写跨平台应用软件的面向对象的程序设计语言。Java 技术具有卓越的通用性、高效性、平台移植性和安全性,广泛应用于PC、数据中心、游戏控制台、...

    用户5814672

扫码关注云+社区

领取腾讯云代金券