EMNLP 2022 | 复杂标签空间下的Prompt调优（ 将关系分类转换成填充问题）

引言

目前，利用提示（Prompt）对预训练模型进行微调，并将其应用到下游任务中是非常常用的方法。（对Prompt不了解的小伙伴可以读一下我之前的文章：一文了解预训练模型 Prompt 调优）但是当应用于复杂标签的关系分类时，由于严格的提示限制，一般的Prompt Tuning方法难以处理具有任意长度的标签表达。受预训练生成模型的文本填充任务的启发，「本文提出了一种新的生成提示调整方法，即将关系分类重新表述为填充问题，从而摆脱了当前基于提示的方法的限制，完全利用了实体和关系类型的丰富语义」。实验证明了本文模型在完全监督和低资源设置下的有效性。

EMNLP2022第五波已更新，下载方式回复：历年EMNLP

背景介绍

关系分类(RC)是自然语言处理(NLP)中的一项基本任务，旨在检测句子中实体之间的关系。随着一系列预训练语言模型(plm)的兴起，微调plm已经成为RC的主要方法。然而，预训练和微调之间的存在客观的差距，这就导致了预训练知识在此类下游任务的表现会略显逊色。为此，最近提出了提示调优(Prompt Tuning)，并且已被证明对低资源场景尤为有效。其核心思想是将下游任务的目标转换为更接近训练前任务的目标，即在训练前，设计一个模板，将输入示例重新制定为完形填空短语，并设计一个verbalizer将标签映射到候选词，通过预测掩码token，可以确定输入示例的标签。提示调优的一个缺点是严格的模板限制，其中掩码标记的数量和位置通常是固定的。如下图所示：

当标签空间很简单时，下游任务可以很容易地适应这种范式，它在一个掩码位置预测一个语言标记。然而，当对具有传递丰富语义信息的复杂标签空间的RC应用提示调优时，普通提示调优方法可能难以处理具有不同长度的复杂标签语言。

本文认为这种限制的根本原因是现有的提示调优方法模仿了掩码语言建模 (MLM)，它仅在一个掩码位置预测一个标记。与MLM不同，预训练生成模型的文本填充任务似乎与RC更兼容。该任务丢弃连续的标记跨度，并学习预测每个片段中不仅缺少哪些标记，还预测缺少多少标记。遵循这种范式允许模型在多个预测槽处生成任意数量的令牌。

为此提出了一种新颖的生成提示调优方法（GenPT），它将RC重新定义为文本填充任务，以消除严格的提示限制，从而充分利用标签语义，实体类型信息被进一步注入，这对RC至关重要。

本文模型介绍

MLM和文本填充

掩码语言建模被广泛采用作为预训练任务，以获得双向的预训练模型。一般来说，屏蔽语言模型(MLM)从输入语句中随机屏蔽一些标记。每个[MASK]对应一个令牌。目标是基于其余标记预测掩码词(参见下图a)。与仅预测一个令牌的MLM(MASK)不同，用于预训练seq2seq模型的文本填充任务可以灵活地恢复不同长度的跨度。下图b所示，文本填充任务对许多与原句子长度不同的文本跨度进行抽样。然后，用单个哨点令牌替换每个span。编码器输入损坏的序列，而解码器按顺序生成由哨点标记分隔的缺失跨的连续标记。该任务更加灵活，可以与一些复杂的下游任务更加兼容，但现在被严重忽视了。

生成预训练调优GenPT

  如上图c所示，本文将关系分类视为文本填充式任务，将模板处理的序列T(x)作为源输入，输出目标序列y预测关系。具体来说，首先构建了一个多槽连续提示，其中模板通过利用三个标记作为占位符将输入句子转换为完形填空短语，并希望分别填写头部实体类型、尾部实体类型和关系的标签表达。

  然后采用可训练的连续提示嵌入，避免手工提示工程。此外，在将生成模型应用于判别任务时，如何有效地确定最终的类标签是一个实际问题，本文设计了实体引导解码和关系评分策略（如下图所示），使生成的序列与预定义的标签集对齐，使预测过程更有效和高效。

实验结果

  在完全监督和低资源设置下，对四个广泛使用的关系分类数据集（TACRED、TACREV、ReTACRED、Wiki80）进行了大量的实验。1、如下表所示，在完全监督的设置下评估本文的模型。该模型模型优于最先进的判别微调模型TYP Marker和提示调优方法PTR和KnowPrompt。

2、下表给出了在低资源设置下F1的结果。与现有的方法相比，本文模型达到了最好的性能，证明其可以处理小样本的分类任务。

论文&&源码

Paper：https://arxiv.org/pdf/2210.12435v1.pdf

Code：https://github.com/hanjiale/genpt