【人工智能】Transformers之Pipeline（十七）：文本分类（text-classification）

一、引言

pipeline（管道）是huggingface transformers库中一种极简方式使用大模型推理的抽象，将所有大模型分为音频（Audio）、计算机视觉（Computer vision）、自然语言处理（NLP）、多模态（Multimodal）等4大类，28小类任务（tasks）。共计覆盖32万个模型

今天介绍NLP自然语言处理的第五篇：文本分类（text-classification），在huggingface库内有6.7万个文本分类（text-classification）模型。

二、文本分类（text-classification）

2.1 概述

文本分类是为给定文本分配标签或类别的任务。一些用例包括情绪分析、自然语言推理和评估语法正确性。

2.2 DistilBERT—BERT 的精简版：更小、更快、更便宜、更轻便

在预训练阶段利用了知识蒸馏，并表明可以将 BERT 模型的大小缩小 40%，同时保留 97% 的语言理解能力并且速度提高 60%。为了利用较大模型在预训练期间学习到的归纳偏差，我们引入了一种结合语言建模、蒸馏和余弦距离损失的三重损失。我们的更小、更快、更轻的模型预训练成本更低，并且我们在概念验证实验和比较设备研究中展示了其在设备上计算的能力。。

2.3 应用场景​​​​​​​

• 新闻分类：根据新闻内容将其分类为政治、体育、娱乐等类别。
• 情感分析：判断用户评论或评价的情绪是积极还是消极。
• 垃圾邮件过滤：区分正常邮件和垃圾邮件。
• 产品评论分类：根据用户评论将其分类为好评、差评、中性等类别。
• 自动问答系统：根据问题类型将其分类为具体的领域，如技术支持、订单查询等。
• 内容过滤：根据文本内容将其分类为适合或不适合某些年龄段或人群。
• 舆论分析：监测和分析社会媒体上的舆论趋势。

2.4 pipeline参数

2.4.1 pipeline对象实例化参数

• model（PreTrainedModel或TFPreTrainedModel）— 管道将使用其进行预测的模型。 对于 PyTorch，这需要从PreTrainedModel继承；对于 TensorFlow，这需要从TFPreTrainedModel继承。
• tokenizer ( PreTrainedTokenizer ) — 管道将使用 tokenizer 来为模型编码数据。此对象继承自 PreTrainedTokenizer。
• modelcard（str或ModelCard，可选） — 属于此管道模型的模型卡。
• framework（str，可选）— 要使用的框架，"pt"适用于 PyTorch 或"tf"TensorFlow。必须安装指定的框架。
• task（str，默认为""）— 管道的任务标识符。
• num_workers（int，可选，默认为 8）— 当管道将使用DataLoader（传递数据集时，在 Pytorch 模型的 GPU 上）时，要使用的工作者数量。
• batch_size（int，可选，默认为 1）— 当管道将使用DataLoader（传递数据集时，在 Pytorch 模型的 GPU 上）时，要使用的批次的大小，对于推理来说，这并不总是有益的，请阅读使用管道进行批处理。
• args_parser（ArgumentHandler，可选） - 引用负责解析提供的管道参数的对象。
• device（int，可选，默认为 -1）— CPU/GPU 支持的设备序号。将其设置为 -1 将利用 CPU，设置为正数将在关联的 CUDA 设备 ID 上运行模型。您可以传递本机torch.device或str太
• torch_dtype（str或torch.dtype，可选） - 直接发送model_kwargs（只是一种更简单的快捷方式）以使用此模型的可用精度（torch.float16，，torch.bfloat16...或"auto"）
• binary_output（bool，可选，默认为False）——标志指示管道的输出是否应以序列化格式（即 pickle）或原始输出数据（例如文本）进行。
• return_all_scores（bool，可选，默认为False）——是否返回所有预测分数或仅返回预测类别的分数。
• function_to_apply（str，可选，默认为"default"）— 用于检索分数的模型输出函数。接受四个不同的值：
  • "default"：如果模型只有一个标签，则在输出上应用 sigmoid 函数。如果模型有多个标签，则在输出上应用 softmax 函数。
  • "sigmoid"：在输出上应用 S 型函数。
  • "softmax"：在输出上应用 softmax 函数。
  • "none"：不对输出应用任何功能。

2.4.2 pipeline对象使用参数 ​​​​​​​

• inputs（str或List[str]或Dict[str]，或List[Dict[str]]）— 需要分类的一个或多个文本。为了使用文本对进行分类，您可以发送包含{"text", "text_pair"}键的字典或键的列表。
• top_k（int，可选，默认为1）— 返回多少个结果。
• function_to_apply（str，可选，默认为"default"）— 用于检索分数的模型输出函数。接受四个不同的值： 如果不指定此参数，那么它将根据标签数量应用以下函数：
  • 如果模型只有一个标签，则将在输出上应用 S 型函数。
  • 如果模型有多个标签，将在输出上应用 softmax 函数。

  可能的值包括：

  • "sigmoid"：在输出上应用 S 型函数。
  • "softmax"：在输出上应用 softmax 函数。
  • "none"：不对输出应用任何功能。

2.4.3 pipeline返回参数 ​​​​​​​​​​​​​​

• label（str）——预测的标签。
• score（float）——相应的概率。

2.5 pipeline实战

采用pipeline，使用distilbert的distilbert-base-uncased-finetuned-sst-2-english进行表格问答。

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"

from transformers import pipeline

classifier = pipeline("text-classification", model = "distilbert/distilbert-base-uncased-finetuned-sst-2-english")
output=classifier("happy new year")
print(output)
output=classifier("boring")
print(output)

执行后，自动下载模型文件并进行识别：

2.6 模型排名

在huggingface上，我们将表格问答（table-question-answering）模型按下载量从高到低排序，总计6.7万个模型，属于hf上应用较多的模型任务。

三、总结

本文对transformers之pipeline的文本分类（text-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的文本分类（text-classification）模型。