ChatGPT 学习笔记 | 什么是 Prompt-tuning？

叶庭云

发布于 2023-10-01 08:35:23

1K0

发布于 2023-10-01 08:35:23

一、前言

Prompt-tuning is an efficient, low-cost way of adapting an AI foundation model to new downstream tasks without retraining the model and updating its weights.

提示调优是一种高效且低成本的方法，它能在无需重新训练模型和更新权重的前提下，将 AI 基础模型适配至新的下游任务。

基础模型旨在引领下一波人工智能企业应用的浪潮（未来的人工智能是灵活、可重复使用的人工智能模型，可以应用于几乎任何领域或行业任务）。

这些大型、可重复使用的模型已经在互联网的广泛知识上进行了预训练，使它们更容易定制，用于分析法律合同或检测金融文件中的欺诈行为。

MJ 生成，Artificial Intelligence; Big Models; Training; Fine Tuning; Cool; Future; Technology; Masterpieces

二、主要内容

在 ChatGPT 火爆出圈之前，微调是重新部署这些预训练模型用于专门任务的最佳方法。您会收集和标记目标任务的示例，然后对模型进行微调，而不是从头开始训练一个全新的模型。但是随着基础模型不断增大，出现了一种更简单、更高效、更节能的技术：Prompt-tuning。

在 Prompt-tuning 中，最佳线索或前端提示被提供给您的 AI 模型，以为其提供特定任务的上下文。这些提示可以是由人类引入的额外单词，也可以是引入到模型嵌入层中的 AI 生成的数字。就像填字游戏的提示一样，这两种提示类型都会引导模型朝着所需的决策或预测方向发展。Prompt-tuning 允许一家数据有限的公司将大型模型定制为垂直领域的任务。它还消除了更新模型的数百亿（甚至万亿）个权重或参数的需要。

重新部署 AI 模型而无需重新训练可以将计算成本和能源使用减少至少 1000 倍，从而节省数千美元。IBM 的 David Cox 表示，这种 “Prompt-tuning” 可以快速为特定需求创建一个强大的模型，同时也可以加快速度和进行实验。Prompt-tuning 是一种通过给模型提供提示来生成输出的方法，起源于大型语言模型，但现在已扩展到其他基础模型，如处理其他序列数据类型（包括音频和视频）的 Transformers。Prompt 可以是文本片段、图像、语音流或静态图像或视频中的像素块。

IBM 的 MIT-IBM 实验室专家 Ramewsar Panda 表示：“这是一种从这些大型模型中提取知识的快速和可持续的方法。我们不会触及模型。它是冻结的。”

一个面向专门任务的，无数据的前置提示，是指在特定任务中提供指导和信息的线索，而不依赖于实际数据。最初，通过手工设计的方式，即所谓的提示工程，来设计提示。假设您想要为翻译任务调整一个语言模型。您给模型提供目标任务的描述或几个示例。例如，“将英语翻译成法语”，并使用提示：“cheese”（奶酪）。然后模型输出其预测结果：“fromage”（奶酪）。这个手动提示使模型从其记忆库中检索出其他法语单词。如果任务足够困难，可能需要数十个提示。

Prompt Engineering 是在 OpenAI 发布 GPT（Generative Pretrained Transformer）之后出现的，它是一个比之前任何语言模型都大 10 倍的大模型。在 2020 年的一篇论文中，OpenAI 的研究人员展示了 GPT-3 的规模为 1750 亿个参数，使其能够在推理时只需引入少量的文字即可执行专门的任务。在没有重新训练的情况下，GPT-3 的表现几乎与在标记数据上进行微调的模型一样好。

手工制作的提示可能很快会被由一串数字组成的优秀 AI 设计的提示所取代。在随后的一篇论文中，谷歌研究人员介绍了所谓的 “软” 提示，由 AI 设计，胜过了人工设计的 “硬” 提示。大约在同一时间，斯坦福的研究人员引入了前缀调整（Prefix-tuning），这是另一种自动提示设计方法，允许模型逐个学习任务。前缀调整将软提示与注入到深度学习模型层中的提示相结合，以增加灵活性。虽然前缀调整更高效，但这两种技术都可以让您冻结模型并跳过昂贵的重新训练。

与硬提示不同，由 AI 设计的软提示对人眼来说是无法识别的。每个提示都由一个 Embeddings 或数字字符串组成，它从更大的模型中提取知识。高级或任务特定的提示作为额外训练数据的替代品。研究人员最近估计，一个好的语言分类器的 Prompt 相当于数百到数千个额外的数据点。Prompt-tuning 的一个缺点是其缺乏可解释性。人工智能发现了针对特定任务进行优化的提示，但无法解释为什么选择了这些 Embeddings。与深度学习模型本身一样，软提示也是不透明的。Panda 说：“你正在学习提示，但是对于模型如何帮助你，了解得很少。这仍然是一个谜。”

Prompt-tuning 的新兴应用。基础模型正在发现新的企业应用，从药物和材料发现到解读汽车手册等技术文档。与此同时，Prompt-tuning 也在不断发展。多任务学习是指基础模型需要快速切换任务，例如从回答客户问题到识别在线评论中的负面评论。研究人员正在探索创建通用提示的方法，以便可以轻松地复用。Panda 表示：“将多任务迁移学习应用于提示，可以将任务共享的知识整合到单个提示中，以便快速适应模型。”

在 2023 ICLR 上，Panda 和他的同事展示了他们的多任务提示调优（MPT）方法优于其他方法，甚至比针对特定任务进行微调的模型表现更好。Panda 表示，与花费数千美元重新训练一个拥有 20 亿参数的专门任务模型相比，MPT 可以以不到 100 美元的成本为您定制模型。另一个正在兴起的研究领域涉及到 AI 模型在不断学习新任务和概念时即时寻找提示。获取新知识涉及到在新数据上更新模型，但有时旧知识会被覆盖，这被称为灾难性遗忘。CODA-Prompt 是一种技术，可以发现连续的、以前从未见过的任务的提示，比如对绘画、绘画和照片进行分类，而不会使模型忘记最初学到的知识。CODA-Prompt 是一种灵活的提示方式，用于持续学习，可以在出现错误时进行修正，而不会保留数据并违反隐私法规。这种技术的共同开发者、IBM 研究员 Leonid Karlinsky 表示：“在用户数据的聊天会话中可能会观察到错误， CODA-Prompt 可以让您在不保留个人数据的情况下纠正错误。”

最近，IBM 研究人员在 2022 年 NeurIPS 会议上发的论文，旨在利用 AI 设计的提示来对抗大型语言和视觉模型中的种族和性别偏见，从而显示出减轻算法偏见的快速和低成本工具的潜力。一种方法称为 FairIJ，它识别出模型训练集中最具偏见的数据点，并通过附加到模型原始提示的提示将它们排除在外。研究人员发现，在薪资预测任务中经过 FairIJ 调整的模型比几种顶级偏见缓解方法实现了更准确、更少偏见的结果。另一种方法：FairReprogram，通过附加到原始提示上的提示，为在美容杂志上训练的 AI 提供了与性别敏感性培训相当的训练。为了重新定位一个错误地学习将只有金发女性与 “女性” 联系起来的分类器，IBM 的研究人员在一张有棕色头发的女性照片上添加了一个由黑色像素组成的 AI 设计边框。他们发现，这些像素能够欺骗模型，使其扩大对女性的概念，包括那些有棕色头发的女性。

Prompt-tuning 不仅可以减少将大型模型定制到新应用程序的成本，IBM 的 Cox 表示，它还可以纠正模型的行为：在这种情况下，减轻偏见。Prompt-tuning 让你既能拥有蛋糕，又能吃掉它。你可以更快速、更可持续地将你的模型适应于专门的任务，同时更容易地找到和解决问题。