样本不平衡造成的影响和解决方案
样本不平衡造成的影响和解决方案
生信编程日常
发布于 2020-09-01 15:51:40
发布于 2020-09-01 15:51:40
我们在做分类问题的时候，有时候会遇到正负样本非常不平衡的现象，比如正例：负例=1：100等更极端的现象。这样分类器可能会都判断为负例，这样必然存在很多FALSE negative，并且模型不具有泛化能力。
比如下面这个例子，正：负约等于1：100：
混淆矩阵可以看到，预测结果将测试集都判断为0，即负例，这个结果非常极端。我们可以主要通过以下方案解决：
- 增加数据
- 数据重采样 对于数据量少的进行过采样（over-sampling ）；对数据量很大的样本进行欠采样（under-sampling）。
- 人工生成数据 比如用SMOTE算法人工生成新的少数样本。
在python中可以直接使用imblearn处理不平衡数据：
# 安装
conda install -c conda-forge imbalanced-learn
# 随机欠采样示例
from imblearn.under_sampling import RandomUnderSampler
RandomUnderSampler = RandomUnderSampler(random_state=287) # Downsampling
X, y = RandomUnderSampler.fit_sample(X,y)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state = 16, stratify=y)
clf = LogisticRegression()
clf.fit(X_train, y_train)本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读