在实际分类场景中,经常会遇到类似这样的问题:只有标记了的正样本,和未标记的样本。比如金融风控场景,有一部分用户被标记为欺诈用户,剩下的用户未被标记,虽然这其中大多数信用良好,但仍有少量可能为欺诈用户。虽然为了方便操作,可以将未标记的样本都作为负样本进行训练,但会降低准确度,如何辨别未标记样本中的正负样本,提升模型准确度,就成为一个值得思考的问题。PU-learning算法于2002年提出,最早用来解决文本分类问题,并延伸到基因识别、反欺诈等诸多领域,是解决样本未标记问题的利器,本文将对此算法进行介绍,并通过R语言进行实例演示。
PU-learning算法
我们通常进行的分类学习,一般是有监督学习,即从确定的正负样本中学习规律,对新数据进行预测。在实际业务场景中,可能会因为数据积累不够、标注数据成本高等问题,使得数据样本不丰富。PU-learning是一种半监督学习算法,主要用来解决可以清晰确定正样本但不能确定负样本的问题。
建立PU分类器的基本思想是两步法:1、从未标注样本中找到可靠负例(RN)。2、用确定的正例和可靠负例训练分类器。
寻找可靠负例的方法有朴素贝叶斯、Spy、1-DNF等,下面选取Spy方法进行介绍并演示。
Spy算法流程
step1
P=标注的正样本;
U=未标注样本;
RN初始设为空集;
#RN用来存储可靠负例样本
step2
step3
step4
从P中选取一部分作为集合S;
PS=P-S,且label为1;
US=U+S,且label为-1;
用PS和US训练一个分类器g;
对U使用g,
得到每个样本d的分类概率pr(d);
用S确定阈值tr;
当pr(d)<tr,将d加入RN
其中,一般从P中选择15%样本作为S,tr指判断为正例的概率。阈值tr的选择上,应满足S中正例错误率低于1-r的条件下,最小化U中正例数目。
在得到RN后,用P和RN通过传统机器学习分类算法,训练分类器,预测新样本。
R语言实现
最终混淆矩阵效果为: