想要玩转大模型，不懂提示词怎么行？

提示词综述论文分享

Pre-train, Prompt, and Predict: A Systematic Survey of  Prompting Methods in Natural Language Processing

公众号介绍

本公众号将长期、持续致力于分享计算机视觉领域最前沿的科研动态，欢迎各位同学关注、点赞和分享，您的支持是我坚持下去最大的动力。后续将继续为进行代码解读、论文分享。

动动您的小手指，关注一下吧！

Part.1

摘要

本文综述并组织了自然语言处理新范式的研究工作--“基于提示的学习”。传统的监督式学习训练模型接受输入x并预测输出y为P(yx)，而基于提示的学习不同，它基于语言模型，直接对文本的概率进行建模。为了使用这些模型来执行预测任务，使用模板将原始输入x修改为具有一些未填充槽的文本字符串提示符x，然后使用语言模型对未填充信息进行概率填充以获得最终字符串x，并从中派生出最终输出y。这个框架的强大和吸引人的原因有很多：它允许语言模型在大量的原始文本上进行预训练，通过定义一个新的提示功能，模型能够执行少量甚至零次学习，适应很少或没有标记数据的新场景。在本文中，介绍了这种有前途的范式的基础知识，描述了一套统一的数学符号，可以涵盖各种现有工作，并沿着几个维度组织现有工作，例如选择预训练模型，提示和调优策略。为了让有兴趣的初学者更容易进入这个领域，文章不仅对现有的作品进行了系统的回顾，并对基于提示的概念进行了高度结构化的分类，而且还发布了其他资源，例如，一个网站“NLPedia-Pretrain”，其中包括不断更新的调查和论文列表。

Part.2

引言与动机

本文是一篇关于提示词工程（Prompt-based Learning）的系统性综述，旨在总结和分析自然语言处理（NLP）领域中提示词学习的最新研究进展。提示词学习是一种新兴的范式，与传统的监督学习不同，它通过设计特定的提示词（Prompt）将任务转化为语言模型能够理解的形式，从而减少对大规模标注数据的依赖。文章从提示词设计、预训练语言模型的选择、提示词训练策略等多个维度对相关研究进行了系统性梳理，并探讨了提示词学习的潜在挑战和未来发展方向。

文章首先回顾了NLP领域的两次重大范式转变：从完全监督学习到预训练与微调，再到当前的“预训练、提示词、预测”（Pre-train, Prompt, Predict）。提示词学习的核心思想是通过设计提示词将任务转化为语言模型的训练目标，例如通过填空（Cloze）或前缀（Prefix）提示词引导模型完成特定任务。这种方法的优势在于能够利用大规模无监督预训练语言模型的知识，适应多种下游任务，同时减少对标注数据的依赖。

提示词方法类型

Part.3

提示词学习

提示词学习的基本流程包括三个步骤：提示词设计（Prompt Engineering）、答案搜索（Answer Search）和答案映射（Answer Mapping）。提示词设计是将输入文本通过模板转化为包含空槽的文本提示词；答案搜索是通过语言模型计算提示词的生成概率，找到最优答案；答案映射则是将答案映射到最终输出。文章详细讨论了提示词形状（如Cloze和Prefix）、手动设计与自动化学习提示词的方法，以及答案空间设计的不同策略。

预训练语言模型（PLM）是提示词学习的基础。文章从训练目标、噪声函数、表示的方向性等维度对主流预训练语言模型进行了分类和分析。例如，基于左到右语言模型（如GPT系列）的提示词学习更适合生成任务，而基于掩码语言模型（如BERT）的提示词学习更适合分类任务。此外，文章还讨论了如何根据任务需求选择合适的预训练模型。

文章总结了多提示词学习（Multi-Prompt Learning）的几种方法，包括提示词集成（Prompt Ensembling）、提示词增强（Prompt Augmentation）、提示词组合（Prompt Composition）和提示词分解（Prompt Decomposition）。这些方法通过结合多个提示词或分解复杂任务为多个子任务，进一步提升了提示词学习的性能和适用性。

提示词训练策略是提示词学习的重要组成部分。文章详细讨论了五种主要的训练策略：无提示词微调（Promptless Fine-tuning）、无训练提示词（Tuning-free Prompting）、固定语言模型的提示词调优（Fixed-LM Prompt Tuning）、固定提示词的语言模型调优（Fixed-prompt LM Tuning）以及提示词与语言模型联合调优（Prompt+LM Tuning）。每种策略都有其适用场景和优缺点，例如无训练提示词适用于零样本学习，而提示词与语言模型联合调优更适合大规模数据场景。

不同的提示词学习策略

Part.4

提示词学习的应用

提示词学习已被广泛应用于多种NLP任务，包括知识探测、分类任务、信息抽取、推理、问答、文本生成等。文章通过具体案例展示了提示词学习在这些任务中的应用方法和效果。例如，在情感分析任务中，提示词可以设计为“[X] Overall, it was a [Z] movie”，通过填充空槽预测情感类别。