非均衡数据处理--如何学习?

后续会继续介绍, 主要有三种方式:

  1. 通过sampling技术,生成均衡的样本
  2. 调整算法,允许算法改变权重weight变得cost-sensitive。
  3. 采用集成学习思想, 将major类进行横向划分,形成小的均衡的样本集群。

Sampling技术

Sampling技术比较直观,就是怎么把样本变成均衡的。 我们知道不均衡数据, 最重要的还是收集minority数据。 但是一般这是一个长期的过程。 那么, 在不可能收集到minonrity的情况下, 只能通过“重复”或者产生“假”数据来增加数量,达到均衡。

这里假设是个两类问题, 不均衡就存在major类和minor类。

Sampling技术主要分成两大类:减少majior类达到数量均衡,叫undersampling, 另外一种增加minor类达到数量均衡,叫oversampling。

而undersampling又至少分成两种:一种随机的Resampling(with/without replacement), 另外一种是带border cleaning的,就是尽量避免选择临近对方的样本。

类似的, oversampling也分成两种, 一类是不生成合成(without-synthesize)数据的, 一类是合成数据的(with-synthesize)。当然,除了这主要的两类, 就是杂交(hybrid)的情况了。

1. Undersampling (downsampling):

1.1 Resampling (with/without replacement):

随机选部分majority和minority组合 (不再描述)。

1.2 With border cleaning

基于相邻(neighboring),聚类(clustering)等方法。

2. Oversampling (upsampling):

2.1 Resampling (with replacement & without synthesize)

随机重复minority和majority组合 (不再描述)。

2.2 With synthesize

线性插值(interpolate)。

3. Hybrid

3.1 With simulation & with border cleaning

先插值然后去除边界等。

undersampling (downsampling) 因为减少了majority的样本数目, 所以潜在的风险是丢失了重要的数据, 很容易underfitting导致, 使得泛化性能变差。

oversampling (upsampling) 重复了数据, 也存在风险使得部分数据过于强调,而overfitting, 另外还可能增加计算量。

带边界清理的UnderSampling with Border Cleaning

重要的技术也有两大类:

1. 边界相邻匹配:Tomek Links, NearMiss-T.

2. 聚类:Condensed Nearest Neighbor (CNN),Edited Nearest Neighbor (ENN)

邻居的定义

一般邻居大体分成三类: A点的kNN主要是其他类, 这个点就是边界点, DANGER情况, 比较难处理。 B点的kNN主要是自己类, 叫安全点SAFE。 如果kNN全是其他类, 那么自己就是Outlier,或者NOISE。

清理Tomek Links:

Tomek links是对于minority的点, 如果它的1NN刚好是majority,那么这就构成了一个Tomek Link, 在undersampling的情况下, 认为这个majority离的太近了, 就会删除这个majority点。

NearMiss-T系列算法

NearMiss是基于相邻思想的一系列算法, 有3个典型算法NM-1, NM-2, NM-3。

NearMiss-1:

对于每个majority的点, 找到它对应的在minority里面k个最近邻(Nearest Neighbor), 然后计算它到这个minority的kNN中心之间距离, 保留那些距离小的点。

NearMiss-2:

刚好和NM-1相反, 它不是找minority里k个最近邻, 而是k个最远邻(Farthest Neighbor), 然后计算majority里面那个点到这个kFN中心之间的距离, 保留那些距离小的点。NM-2有点诡异,找的是最远的minority点, 保留的小距离的majority点。

NearMiss-3:

和NM-1,和NM-3极大不一样的是, NM-3的k个点不是来自minority, 而是来自majority。 对于每个minority的点, 保留与该点最近的majority的kNN点。 k是可调节参数。 是不是刚好和Tomek Links相反。

效果比较:

如下图,可以大致比较一下NM-T系列的效果。

基于聚类的方法:

在解释聚类方法前, 再提一下, 非均衡的扩展, 类别内部(inner-class)也是可以有非均衡的。 虽然同一个类, 但是有些特征比较稀少。 因此对于这种情况, 随机的undersampling会导致类别内非均衡性没有被照顾。 如下图, 同一个类别内,还是有不同特征的聚类。

因此聚类方法就是, 将majority进行聚类, 然后找到代表性的类别进行抽样, 这样的好处是既能照顾类别内非均衡, 还能发现outlier和border。

Condensed Nearest Neighbor (CNN):

通过1NN来压缩majority, 就是找到训练集T的一个子集U,使得T中每个点, 它在U中1NN点都同一个类别就好了。

Edited Nearest Neighbor (ENN):

类似于Tomek Link的思想, 对于每个majority如果它的kNN投票结果不是majority就删除它。

其他更多的undersampling方法, 例如One-Sided Selection,Instance Hardness Threshold等, 可以参考https://github.com/scikit-learn-contrib/imbalanced-learn/blob/master/README.rst

带合成的Oversampling技术 With synthesize

SMOTE - Synthetic Minority Oversampling Technique

最经典的SMOTE算法, 其实比较简单。

第一步, 随机选一个minority点,找它在minority中的kNN点。 然后再从kNN中随机标记一个点。

第二步, 线性差值上面两个点, 生成要的SMOTE点。

Borderline SMOTE

由于SMOTE没有考虑排除前面提到的SAFE, NOISE点的情况, 由于这些点性质明确,不需要合成数据了。 bSMOTE就是只用DANGER点进行合成。

ADASYN - Adaptive synthetic sampling approach for imbalanced learning

ADASYN把前面的SAFE, DANGER, NOISE点的简单划分变成了分布概率。 根据delta和K的比例按权重来合成。 delta就是KNN中属于majority的部分。

杂交 Hybrid

如果把SMOTE和前面的undersampling技术综合起来就是杂交的技术了。

一边合成minority的数据, 一边删除majority的数据,是不是要更快达到均衡。

SMOTE + Tomek

先合成SMOTE点, 然后根据Tomek思想去除Tomek links。

SMOTE + ENN 算法也是类似的。

CBO - Clustering Based Oversampling

另外一种合成是, 先通过clutering只保留核心点, 然后通过合成技术进行oversampling。

Cost-Sensitive Learning

大部分分类算法, 允许安装class的比例来调整权重(weight), 而形成cost-senistive的学习, 譬如SVM, Random Forest。

权重Weight调整

weight调整就是要保护minority的边界。

集成学习

集成学习的基本思想就是把majority进行划分,然后和minority组合成小的训练集, 然后生成学习器, 最后再集成。

可以根据resampling with replacement做成bagging方式。 也可以根据resampling without replacement做成boosting/cascade方式。

例如: EasyEnsemble, BalanceCascade就是典型的代表。

大杂交

如果再结合oversampling的技术, 就可以杂交出来各种集成学习的技术了。

简单性能比较

这里列举了SMOTE方法, 基于cost-sensitive的Weighted Random Forest(WRF), 基于集成学习的Balace Random Forest(BRF)的性能, 可以看到其实BRF和WRF效果都比较好, 要比单纯的Oversampling的效果要好。

小结, 本文大体给出了如何学习的基本方法,最后给个整体评价。

Sampling技术:

优点:独立于学习器, 容易实现

缺点:对噪音敏感, 容易欠拟合或者过拟合。

Cost-sensitive学习器:

优点:通过cost自动调节weight来修正bias。

缺点:cost具有不确定性, 算法实现成本高

集成学习:

优点:效果比较好, 对噪音不敏感

缺点:计算量大, 容易过拟合

参考:

http://www.kdnuggets.com/2016/08/learning-from-imbalanced-classes.html/2

https://github.com/scikit-learn-contrib/imbalanced-learn/blob/master/README.rst

https://arxiv.org/pdf/1608.06048.pdf

http://101.96.10.62/statistics.berkeley.edu/sites/default/files/tech-reports/666.pdf

原文发布于微信公众号 - AI2ML人工智能to机器学习(mloptimization)

原文发表时间:2016-11-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习入门与实践

【深度学习系列】用PaddlePaddle和Tensorflow进行图像分类

  上个月发布了四篇文章,主要讲了深度学习中的“hello world”----mnist图像识别,以及卷积神经网络的原理详解,包括基本原理、自己手写CNN和p...

5055
来自专栏计算机视觉战队

CVPR—II | 经典网络再现,全内容跟踪

今天首先给大家带来“YOLO”!也被上一篇“Faith”读者说对了,在此也感谢大家的关注与阅读,O(∩_∩)O谢谢 YOLO ? 看到这个封面,相信很多很多...

3645
来自专栏LET

球心坐标与本地坐标

2616
来自专栏机器之心

ACL 2018 | 神经语言模型如何利用上下文信息:长距离上下文的词序并不重要

2475
来自专栏机器学习之旅

应用:多算法识别撞库刷券等异常用户

在运营业务中,绝大多数公司会面临恶意注册,恶意刷接口,恶意刷券等流量问题,此类问题的常规解决方案都是拍定单位时间内的ip访问上限次数、qps上限次数等等,会存在...

1432
来自专栏专知

【干货】​在Python中构建可部署的ML分类器

【导读】本文是机器学习爱好者 Sambit Mahapatra 撰写的一篇技术博文,利用Python设计一个二分类器,详细讨论了模型中的三个主要过程:处理不平衡...

38911
来自专栏python开发者

神经网络反向传播梯度计算数学原理

[神经网络]反向传播梯度计算数学原理 1 文章概述 本文通过一段来自于Pytorch官方的warm-up的例子:使用numpy来实现一个简单的神经网络。使用基本...

38613
来自专栏大数据智能实战

基于Tensorflow的CycleGAN测试(非成对图像风格迁移:橙子--> 苹果)

图像风格迁移有两种大的类型,一种是成对的,一种是非成对了。 成对的著名模型就是pix2pix,这种的例子,如从影像地图转换为矢量地图,从素描转换为纹理图等。这些...

4018
来自专栏专知

【专知-Java Deeplearning4j深度学习教程05】无监督特征提取神器—AutoEncoder:图文+代码

【导读】主题链路知识是我们专知的核心功能之一,为用户提供AI领域系统性的知识学习服务,一站式学习人工智能的知识,包含人工智能( 机器学习、自然语言处理、计算机视...

52811
来自专栏深度学习自然语言处理

这些神经网络调参细节,你都了解了吗

今天在写本科毕业论文的时候又回顾了一下神经网络调参的一些细节问题,特来总结下。主要从weight_decay,clip_norm,lr_decay说起。

1892

扫码关注云+社区

领取腾讯云代金券