使用scikit-learn解决文本多分类问题

来源 | TowardsDataScience

译者 | Revolver

编辑 | 磐石

在我们的商业世界中，存在着许多需要对文本进行分类的情况。例如，新闻报道通常按主题进行组织; 内容或产品通常需要按类别打上标签; 根据用户在线上谈论产品或品牌时的文字内容将用户分到不同的群组......

但是，互联网上的绝大多数文本分类文章和教程都是二文本分类，如垃圾邮件过滤（垃圾邮件与正常邮件），情感分析（正面与负面）。在大多数情况下，我们的现实世界问题要复杂得多。因此，这就是我们今天要做的事情：将消费者在金融方面的投诉分为12个事先定义好的类别。数据可以从data.gov

（https://catalog.data.gov/dataset/consumer-complaint-database）下载。

我们使用Python和Jupyter Notebook来开发我们的系统，并用到了Scikit-Learn中的机器学习组件。如果您想看到在PySpark

(https://medium.com/@actsusanli/multi-class-text-classification-with-pyspark-7d78d022ed35)上的实现，请阅读下一篇文章。

一、问题描述

我们的问题是是文本分类的有监督问题，我们的目标是调查哪种监督机器学习方法最适合解决它。

如果来了一条新的投诉，我们希望将其分配到12个类别中的一个。分类器假设每条新投诉都分配给一个且仅一个类别。这是文本多分类问题。是不是很迫不及待想看到我们可以做到什么程度呢！

二、数据探索

在深入研究机器学习模型之前，我们首先应该观察一下部分数据，看看每个类别下的投诉都是什么样儿？

对于这个项目，我们其实只需要关注两列数据 - “Product”和“ Consumer complaint narrative ”（消费者投诉叙述）。

输入：Consumer_complaint_narrative

示例：“ I have outdated information on my credit report that I have previously disputed that has yet to be removed this information is more then seven years old and does not meet credit reporting requirements”

（“我的信用报告中存在过时信息，我之前已经提到过但还是没被删除， 此信息存在达七年之久，这并不符合信用报告要求”）

输出：Product

示例：Credit reporting（信用报告）

我们将移除“Consumer_complaint_narrative”这列中含缺失值的记录，并添加一列将Product编码为整数的列，因为分类标签通常更适合用整数表示而非字符串。

我们还创建了几个字典对象保存类标签和Product的映射关系，供将来使用。

清洗完毕后，以下是我们将要处理的前五行数据：

三、不平衡的类

我们发现每种产品收到的投诉记录的数量是不平衡的。消费者的投诉更倾向于Debt collection（债款收回），Credit reporting（信用报告），

Mortgage（抵押贷款。）

当我们遇到这样的问题时，如果用一般算法去解决问题就会遇到很多困难。传统算法通常不考虑数据分布，而倾向数量较大的类别。在最坏的情况下，少数群体会视为异常值被忽略。对于某些场景，例如欺诈检测或癌症预测，我们需要仔细配置我们的模型或人为地对数据集做再平衡处理，例如通过对每个类进行欠采样或过采样。

但是在我们今天这个例子里，数量多的类别正好可能是我们最感兴趣的部分。我们希望训练出这样一种分类器，该分类器在数量多的类别上提供高预测精度，同时又保持样本较少的类的合理准确性。因此，我们打算让数据集的比例保持原样，不做改变。

四、文本表示

分类器和学习算法没办法对文本的原始形式做直接处理，因为它们期望的输入是长度固定且为数值型的特征向量，而不是具有可变长度的原始文本。因此，在预处理阶段，文本需要被转换为更易于操作的表示形式。

从文本中提取特征的一种常用方法是使用词袋模型：对于每条文本样本，也即本案例中的Consumer_complaint_narrative，词袋模型会考虑单词的出现频率，但忽略它们出现的顺序。

具体来说，对于我们数据集中的每个单词，我们将计算它的词频和逆文档频率，简称tf-idf。我们将使用sklearn.feature_extraction.text.TfidfVectorizer来计算每个消费者投诉叙述的向量的tf-idf向量：

（1） sublinear_df设置为True使用频率的对数形式。

（2） min_df是一个单词必须存在的最小文档数量。

（3） norm设置为l2，以确保我们所有的特征向量是欧几里德范数为1的向量。

（4） ngram_range设置为(1, 2)表示我们要将文档的unigrams和bigrams两种形式的词条纳入我们的考虑。

（5） stop_words被设置为"english"删除所有诸如普通代词（"a"，"the"，...）的停用词，以减少噪音特征的数量。

现在，4569个消费者投诉叙述记录中的每一条都有12633个特征，代表不同的unigrams和bigrams的tf-idf分数。

我们可以用sklearn.feature_selection.chi2查找与每种类别（Product）最为相关的词条：

上面列出来的词条跟类别的匹配，看上去是不是好像有点道理？

五、多类标分类器：特征与设计

1.为了训练有监督的分类器，我们首先将“Consumer_complaint_narrative”转变为数值向量。我们探索了诸如TF-IDF加权向量这样的向量表示。

2.在文本有了自己的向量表示之后，我们就可以来训练有监督分类器模型，并对那些新来的“Consumer_complaint_narrative”预测它们所属的“Product”。

完成上述所有数据转换后，现在我们已经拥有了所有的特征和标签，现在是时候训练分类器了。我们可以使用许多算法来解决这类问题。

3.朴素贝叶斯分类器：最适合单词统计的自然是朴素贝叶斯多项式模型：

在对训练集训练之后，让我们用它来做一些预测。

效果还不错！

六、模型选择

我们现在已经准备好尝试更多不同的机器学习模型，评估它们的准确性并找出任何潜在问题的根源。

我们将检测以下四种模型：

逻辑回归

（多项式）朴素贝叶斯

线性支持向量机

随机森林

线性支持向量机和逻辑回归比其他两个分类器表现更好，线性支持向量机略占优势，中值精度约为82%。

七、模型评估

接着继续探索我们的最佳模型（LinearSVC），先查看它混淆矩阵，然后显示预测值和实际标签之间的差异。

预测结果的绝大多数都位于对角线上（预测标签=实际标签），也就是我们希望它们会落到的地方。但是还是存在不少错误的分类，找到错误的原因也是一件有意思的事情：

正如您所看到的，一些错误分类的投诉往往涉及了多个主题（例如，同时涉及信用卡和信用报告两方面的投诉）。这种错误总会发生。

接着我们再一次使用卡方检验来查找与每个类别最相关的词条：

结果与我们的期望一致。

最后，我们打印出每个类别的分类报告：

以上源代码（https://github.com/susanli2016/Machine-Learning-with-Python/blob/master/Consumer_complaints.ipynb）

都可以在Github上找到。