EMNLP2022 | 一种超过2000字的文本故事生成框架"Re3" (加州伯克利 & 含源码)

引言

 本文主要考虑自动生成超过两千字的长篇文章的问题。与之前的短篇小说相比，长篇文章情节的连贯性和相关性是其最核心的问题。为此本文提出了递归重提示和修订框架(

)来解决这一问题。实验结果显示，

可以有效地提高长故事生成过程中的远程连贯性和前提相关性。

EMNLP2022接受论文，第四波全增量更新，下载方式回复：历年EMNLP

背景介绍

 生成长篇连贯的故事是人工智能长期面临的挑战，需要全面掌握语言、世界和常识知识。最近，很多算法模型都自动生成了从五句话到一两段不等的短篇小说。虽然这样长的故事可以作为文本生成的一个很好的测试平台，但它们比供人类阅读的典型短篇故事短得多，后者通常长达几页。在这项工作中，「本文的目标是通过生成更长的“短”故事来弥补这一差距：本文模型方法最终可以生成的故事是2000-2500字」。

 本文模型是第一个自动生成如此长度且情节连贯故事的模型，进一步的长度增加主要受评估而非技术问题的限制。与之前的较短故事的工作相比，生成如此长度的故事在质量上面临着新的挑战。首先，「系统必须在数千个单词上保持连贯的总体情节」。给定一个初始前提，它也应该与这个前提保持相关性。其它的挑战还需要保持叙事风格和避免事实矛盾。

 当然，近年来也见证了通用（非微调）大型预训练语言模型的能力急剧上升。特别值得注意的是它们强大的零样本能力，尤其是在给出巧妙提示时。然而，尽管最近有所改进，「即使是迄今为止最好的模型，在复杂的长文本生成问题上仍然面临巨大的挑战」。

 相比之下，人类作家成功地克服了长篇写作的无数挑战。实际观察发现，人类作家不会简单地一次性写出一篇长文档。相反，他或她可能 (a) 制定详细的计划，然后 (b) 根据该计划起草文档的下一个段落。然后，他或她可以通过 (c) 完全重写段落和/或 (d) 发布更详细的信息来进行修改。

模型介绍

 基于对人类作者文章写作方法的分析，「本文提出了递归提示和修订框架(

，如下图所示)来生成更长的故事」。这与以前的方法不同，该模型虽然是模拟人类写作过程，但

是一个无需人工干预的全自动系统，在循环中模拟人类写作过程。

 如上图所示，该

模型架构主要包括：Plan模块、Draft模块、重写模块(Rewrite module)、编辑模块(edit module)。

• 「Plan模块」：通过Prompting GPT3利用设定、角色和大纲来扩充给定的前提条件，从而生成一个计划。
• 「Draft模块」：通过使用精心设计的提示递归地重新提示GPT3来生成每个下一个故事的延续，这个过程可以被视为思维链提示的泛化。具体来说，我们的提示在每一步都是动态重构的，通过有选择地从初始计划(提示本身生成)和迄今为止的故事中显示上下文相关的信息。
• 「Rewrite模块」：通过对备选续篇重新排序来模拟完整的重写
• 「Edit模块」：进行较小的局部编辑，以提高与之前段落的事实一致性。

 另外，上面的Plan和draft模块完全是零样本，而不是在现有的故事数据集上训练得到的。因此，

生成的故事不仅比之前的模型长了一个数量级，而且不局限于任何特定的训练领域。

实验结果

 为了评估

生成的更长的故事，在两个独立的实验中，比较

与两个基线（ROLLING和ROLLING-ft）结果如下。结果表明，

可以有效地提高长故事生成过程中的远程连贯性和前提相关性。

 在两两比较中，人类评估人员认为

生成的故事在总体情节上显著且实质上更连贯(连贯的比例绝对增加了14%)，以及与初始前提的相关性(最高达20%)。事实上，评估者预测

编写的83%的故事是由人类编写的。