首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Python数据预处理——数据标准化(归一化)及数据特征转换

首先,数据标准化处理主要包括数据同趋化处理(中心化处理)和无量纲化处理。 同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。 无量纲化处理主要为了消除不同指标量纲的影响,解决数据的可比性,防止原始特征中量纲差异影响距离运算(比如欧氏距离的运算)。它是缩放单个样本以具有单位范数的过程,这与标准化有着明显的不同。简单来说,标准化是针对特征矩阵的列数据进行无量纲化处理,而归一化是针对数据集的行记录进行处理,使得一行样本所有的特征数据具有统一的标准,是一种单位化的过程。即标准化会改变数据的分布情况,归一化不会,标准化的主要作用是提高迭代速度,降低不同维度之间影响权重不一致的问题。

01

深度学习中的损失函数

与回归任务不同,分类任务是指标签信息是一个离散值,其表示的是样本对应的类别,一般使用one-hot向量来表示类别,例如源数据中有两类,分别为猫和狗,此时可以使用数字1和数字2来表示猫和狗,但是更常用的方法是使用向量[0,1]表示猫,使用向量[1,0]表示狗。one-hot的中文释义为独热,热 的位置对应于向量中的1,所以容易理解独热的意思是指向量中只有一个位置为1,而其他位置都为0。那么使用独热编码表征类别相较于直接用标量进行表征有什么好处呢,从类别的区分性来说,两者都可以完成对不同类别的区分。但是从标量数字的性质来说,其在距离方面的诠释不如one-hot。例如现在有三个类别,分别为猫,狗和西瓜,若用标量表示可以表示为label猫=1,label狗=2,label西瓜=3,从距离上来说,以欧氏距离为例,dist(猫,狗)=1,dist(狗,西瓜)=1,dist(猫,西瓜)=2,这样会得出一个荒谬的结论,狗要比猫更像西瓜,因此用标量来区分类别是不明确的,若以独热编码表示类别,即label猫=[1,0,0],label狗=[0,1,0],label西瓜=[0,0,1],容易验证各类别之间距离都相同。

02
领券