Prompt Engineering 面面观

作者：紫气东来

项目地址：https://zhuanlan.zhihu.com/p/632369186

一、概述

提示工程（Prompt Engineering），也称为 In-Context Prompting，是指在不更新模型权重的情况下如何与 LLM 交互以引导其行为以获得所需结果的方法。 在提示工程中，任务的描述会被嵌入到输入中。例如，不是隐含地给予模型一定的参数，而是以问题的形式直接输入。 提示工程的典型工作方式是将一个或多个任务转换为基于提示的数据集，并通过所谓的“基于提示的学习（prompt-based learning）”来训练语言模型。

提示工程不仅仅是关于设计和研发提示词。它包含了与大语言模型交互和研发的各种技能和技术。提示工程在实现和大语言模型交互、对接，以及理解大语言模型能力方面都起着重要作用。用户可以通过提示工程来提高大语言模型的安全性，也可以赋能大语言模型，比如借助专业领域知识和外部工具来增强大语言模型能力。

提示词可以包含以下任意要素：

指令：想要模型执行的特定任务或指令。

上下文：包含外部信息或额外的上下文信息，引导语言模型更好地响应。

输入数据：用户输入的内容或问题。

输出指示：指定输出的类型或格式。

以下是设计提示的通用技巧:

从简单开始：在设计提示时，需要记住这是一个迭代的过程，需要大量的实验来获得最佳结果。可以从简单的提示开始，不断添加更多的元素和上下文，以获得更好的结果。

指令：可以使用命令来指示模型执行各种简单任务，例如“写入”、“分类”、“总结”、“翻译”、“排序”等，从而为各种简单任务设计有效的提示。

具体性：对希望模型执行的指令和任务，提示越具体和详细，结果就越好。实际上，在提示中提供示例非常有效，可以以特定格式获得所需的输出。

避免不精确：这里的类比非常类似于有效的沟通——越直接，信息传递就越有效。

做还是不做：设计提示时的另一个常见技巧是避免说不要做什么，而是说要做什么。

二、提示技术

时至今日，改进提示显然有助于在不同任务上获得更好的结果。这就是提示工程背后的整个理念。在本节中，我们将介绍更高级的提示工程技术，使我们能够完成更复杂和有趣的任务，所有测试案例均通过text-davinci-003 得到。

2.1 Zero-shot 与 Few-shot

Zero-shot 与 Few-shot 是最基础的提示技术。经过大量数据训练并调整指令的LLM能够执行 Zero-shot 任务，即直接向模型输入文本以获取回答。

如，Zero-shot 输入：

Text: I'll bet the video game is a lot more fun than the film.Sentiment:

输出：

Positive - The speaker expresses that they think the video game is more enjoyable than the film.

Few-shot learning 在目标任务上提供了一组高质量的演示，每个演示都包含输入和期望的输出。 当模型首先看到好的例子时，它可以更好地理解人类的意图和需要什么样的答案的标准。 因此，少样本学习通常比零样本学习有更好的性能。 然而，它是以更多的 token 消耗为代价的，并且当输入和输出文本很长时可能会达到上下文长度限制。

如，Few-shot 输入：

Text: (lawrence bounces) all over the stage, dancing, running, sweating, mopping his face and generally displaying the wacky talent that brought him fame in the first place.Sentiment: positiveText: despite all evidence to the contrary, this clunker has somehow managed to pose as an actual feature movie, the kind that charges full admission and gets hyped on tv and purports to amuse small children and ostensible adults.Sentiment: negativeText: for the first time in years, de niro digs deep emotionally, perhaps because he's been stirred by the powerful work of his co-stars.Sentiment: positiveText: I'll bet the video game is a lot more fun than the film.Sentiment:

输出：

negative

2.2 思维链（Chain-of-Thought, CoT）提示

CoT 提示 生成一系列短句来逐步描述推理逻辑，称为推理链或基本原理，最终得出最终答案。 CoT 的好处对于复杂的推理任务更为，同时使用大型模型（例如，参数超过 50B）时效果更加明显。

如，Few-shot CoT 输入：

Question: Tom and Elizabeth have a competition to climb a hill. Elizabeth takes 30 minutes to climb the hill. Tom takes four times as long as Elizabeth does to climb the hill. How many hours does it take Tom to climb up the hill?Answer: It takes Tom 30*4 = <<30>120 minutes to climb the hill.

It takes Tom 120/60 = <<120>2 hours to climb the hill.