Paper Reading Imbalanced Classification Deep Representation

在视觉领域中，数据的分布往往表现出高度的偏斜性，即大多数数据属于几个大类，而其余的小类只包含少量样本。为了解决这种数据不平衡问题，当前基于深层卷积神经网络（convolutional neural network ，以下简称CNN）的分类方法通常遵循几个经典方法，如重采样及代价敏感。

今天介绍的这篇论文，通过系统的实验，验证了这些经典方法学习不平衡数据的有效性，并进一步证明了，如果深度网络同时考虑类内集群与类间集群，可以有效减少局部数据不平衡对分类造成的影响。

此文[1]采用quintuplet instance sampling，即五元采样方法，并使用 associated triple-header hinge 作为 loss 完成神经网络，并结合一个简单的k-近邻（KNN）算法来解决类别不平衡问题。

一、方法：Deep Learning Large Margin Local Embedding(LMLE)

LMLE 方法是在 Triplet Embedding [2] 方法上的一个改进方法，将三元嵌入改为五元嵌入，同时考虑同类与异类之间的集群与不同，从而形成局部分类边界来对抗类不平衡问题。

LMLE方法流程图如下，首先将训练样本分成许多小批量样本，对其进行重采样与代价设置。进行五元嵌入后使用CNN网络训练，并使用 Triple-header hinge 调整参数。在测试过程中，LMLE采用对大边缘的聚类进行 KNN 搜索的方法达成更优效果。

二、结果

1. 人脸属性检测：高度不平衡的正类和负类样本（40个属性的平均阳性类率为23%）

2. 边缘检测：边缘结构中的长尾分布

三、参考文献

[1] C. Huang, Y. Li, C. C. Loy, and X. Tang: Learning Deep Representation for Imbalanced Classification. In CVPR, 2016.

[2] R. Hadsell, S. Chopra, and Y. LeCun: Dimensionaliy reduction by learning an invariant mapping. In CVPR, 2006.