【自然语言处理】开源 | 一阶逻辑的自然语言推理数据集FOLIO

论文地址： http://arxiv.org/pdf/2209.00840v1.pdf

来源： Yale University

论文名称：FOLIO: Natural Language Reasoning with First-Order Logic

原文作者：Simeng Han

内容提要

本文提出了FOLIO，一个由人类注释的、开放领域的、逻辑上复杂多样的自然语言（NL）推理数据集，配备了一阶逻辑（FOL）注释。FOLIO由1,435个例子(唯一的结论)组成，每个例子都与487组前提中的一组配对，这些前提作为规则，用于演绎每个结论的有效性。前提和结论的逻辑正确性由其平行的FOL注释来保证，这些注释由我们的FOL推理引擎自动验证。除了主要的NL推理任务，FOLIO中的NL-FOL对自动构成一个新的NL-FOL翻译数据集，使用FOL作为逻辑形式。我们在FOLIO上的实验系统地评估了中型语言模型（BERT、RoBERTa）上的监督微调和大型语言模型（GPT-NeoX、OPT、GPT-3、Codex）上的少数提示的FOL推理能力。对于NL-FOL翻译，我们尝试使用GPT-3和Codex。我们的结果表明，公开可用的最强大的大型语言模型(LLM)之一，GPT-3 davinci，在FOLIO的一个子集上仅比使用少量提示的随机结果略好，并且该模型在预测False和Unknown结论的正确真值方面尤其糟糕。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有