数据预处理（一）

比较不同标准化方法（scalers）对包含离群值数据集的影响

本章简单介绍几个转化方法对离群值的影响，以及scikit-learn中对应的函数。更加详细的内容会在下章做介绍。

在加利福尼亚房屋数据集中（http://www.dcc.fc.up.pt/~ltorgo/Regression/cal_housing.html)， 特征0(街区收入中位数) 和特征5（家庭数量）不仅在取值尺度上有很大区别，特征内部也有很大的离群值。这不但增加了将两个特征可视化的难度，而且会降低很多机器学习算法的预测性能。这些未标准化的数据还会降低基于梯度学习算法的收敛速度，甚至导致不收敛。

其实，很多机器学习算法是假定了数据的每个特征都在零附近取值，并且各个特征间的取值尺度差别不大。尤其是基于指标（metric-based）和基于梯度（gradient-based）的算法会假定数据是标准化了的（特征都在均值周围取值且有单位方差的限制）。基于决策树的算法（decision tree-based）是一个例外，它对任意缩放的数据具有鲁棒性。

下面的例子中使用了不同的标准化（scalers）、变换(transformers)、正则化(normalizers)方法，将数据映射到预定义的范围内。

标准化（scalers）是一种线性变换（更准确的仿射变换），在估计用来移动和缩放特征的参数时，它有所不同。

提供了一种非线性转换，离群值与正常值之间的距离被缩小了。

正则化是对样本特征向量的转换，而不是对特征。

sklearn中的相关函数如下,会在接下来的章节中介绍到：

源数据

每一个转换都会被绘制到两个二维坐标图中：左边的图是整个数据集，右边的图是在省略了离群值之后做了放大。大多数的样本其实集中在[0,10]的收入中位数区间和[0,6]的房屋数量区间内。但是有一些离群值，比如有的街区有超过1200个房屋。对于应用来说，数据预处理可以提升效果。在下文中，给出了对这些离群值的预处理方法和见解。

以下是源数据：

标准化

对应函数。

标准化会去掉均值，将数据压缩到单位方差内。然而，离群值会影响经验方差和偏差的计算结果，压缩后的结果如下左图所示。需要注意的是，离群值在不同的特征上离群的程度不同，这会影响转换后各个特征的分布区间：收入中位数集中在[-2,4]区间，而房屋数量被压缩集中到[-0.2,0.2]。

因此不能保证在离群值存在的情况下平衡各个特征的尺度，如下图：

最大最小标准化

对应函数。

会重新调整数据集，如下图，将所有特征映射到[0,1]。这个转换后,房屋数量主要分布在[0,0.005]区间内。可以看出和都对离群值敏感。

绝对值最大标准化

对应函数。

和相似，不同的是它会将绝对值映射到[0,1]区间内。对于只有正数的数据，两者没有区别。所以也会受到离群值的影响。

Robust标准化

对应函数为。

与以上转化不同的是，这个转化的中心和尺度统计值是基于百分位数值的，因此不会受到个别离群值的影响。因此，这个转化的取值区间比上面提到的转化要大，并且，各个特征的区间会大致相似：转化后，两个特征都大致分布在区间[-2,3]上。当然，离群值还是存在的。如果可以对离群值做剪裁，那么就需要非线性转换。

Quantile Transformer(uniform output)

对数据做非线性转换，每个特征的概率分布函数（probability density function）都会被映射为均匀分布(uniform distribution)。这个例子中，所有的数据都映射到了[0,1]区间内，包括离群值。

和一样，都对离群值有鲁棒性。但不同的是会将所有离群值也压缩到设置好的边界范围内。

Quantile Transformer(Gaussian output)

有一个参数，允许将数据的概率分布函数映射为高斯分布。

正则化

函数为。

以上介绍的转换是对每个特征分别进行处理。而是将每个样本的特征向量缩放到单位范数（范数为1）。如下图所示，所有样本点都映射到单位圆上。因为我们的样本特征都是正数，所以所有数据都映射到了第一象限。

参考文献：

https://blog.csdn.net/simple_the_best/article/details/71167786

https://blog.csdn.net/csmqq/article/details/51461696

http://scikit-learn.org/stable/auto_examples/preprocessing/plot_all_scaling.html#sphx-glr-auto-examples-preprocessing-plot-all-scaling-py

https://blog.csdn.net/u012845311/article/details/65443952

https://blog.csdn.net/ICERON/article/details/80243198

欢迎指正

yuefeng_liu@foxmail.com