2022ACL | 多视角的事实核查相关研究解读

每天给你送来NLP技术干货！

来自：复旦DISC

引言

事实核查任务（Fact-Cheking）是指对给定论断（claim），基于其文本本身、检索出的判据或用户在社交网络上的讨论，对其真实性（veracity）进行判断。 本次 Fudan DISC 实验室将分享 ACL 2022 中关于事实核查的 3 篇论文，从交互关系增强、宏观新闻环境构建、判据来源重构的视角推进事实核查任务的进行。

文章概览

• 使用图神经网络框对社交网络表示增强的假新闻检测(Tackling Fake News Detection by Continually Improving Social Context Representations using Graph Neural Networks)

论文地址: https://aclanthology.org/2022.acl-long.97.pdf 该篇文章受同质性社交的启发，设计了图神经网络算子来探索具有相似意见和行为的用户群体，通过增强的网络表示进行假新闻的检测。

• 拓宽视角观察：感知新闻环境的假新闻检测方法(Zoom Out and Observe: News Environment Perception for Fake News Detection)

论文地址: https://aclanthology.org/2022.acl-long.311.pdf 该篇文章拓宽了观察新闻事件的视角，当对一则新闻的真实性进行衡量时，也考虑宏观环境下正在发生的新闻事件，对新闻传播影响力和内容新颖度进行衡量，进而提升假新闻检测的性能。

• WatClaimCheck：用于新闻论断蕴含推理的数据集(WatClaimCheck: A new Dataset for Claim Entailment and Inference)

论文地址: https://aclanthology.org/2022.acl-long.92.pdf 该篇文章认为相应证据应该从判别结果出具前进行查找，通过新闻事实审查文章获取到包含证据线索的先验文章，并将其构造为推理任务，建立了假新闻检测的新范式。

论文细节

1

动机 目前假新闻检测的方法通常从文本内容出发（content-based）或根据显式的评论/词频共现关系构造关系图（graph-based）进行建模。然而仅仅考虑文本则忽略了交互信息，而目前的显式关系则较为稀缺，大量的隐含关系没有被充分挖掘。 在假新闻传播环境中存在平台、用户、文章三大主体，用户和平台之间具有关注关系、平台和文章之间具有发布关系，用户和文章之间具有评论或转发关系，如下图所示，其中黑色实线代表显式可获取的关系，红色虚线则表示可能存在同质性的节点关系。

同质性社交（social homophily）的现象普遍存在，即具有相似观点和偏好的用户往往会联结形成信息群体（information communities），也会参与到同类型的文章讨论中。受此启发，该篇文章设计了基于图神经网络的推断算子（inference operator），迭代式地挖掘出隐含关系，进而增强网络表示，提升假新闻检测的性能。 方法 初始图构建 根据新闻平台和社交网络数据，可以构建新闻信息网络（information graph），其中包含 3 类节点：(1) 新闻发布平台（news source），以用平台简介构建特征；(2) 新闻文章（articles），根据其文本信息构建特征；(3) 用户（users），可以根据其发布的历史推文构建特征。 从已有数据集中的假新闻出发，采用如下方式构建新闻信息网络：从新闻发布平台出发，关联其发布的至多 300 篇文章，接着获取关注其的至多 5000 名用户信息以及在文章发布 3 个月内参与文章讨论的用户信息，最后根据获取相应用户的至多 5000 名粉丝来扩充用户之间的交互关系。 图表示学习 文章使用关系图卷积网络（RGCNs, Relational Graph Convolutional Networks）对网络节点表示进行更新，使得节点表示融入邻居节点信息，更新方式如下： 推断算子 为了挖掘同质节点之间的隐含关系，文章设计了一系列的推断算子，基于更新后的节点表示，根据节点相似度迭代式的推断出可能存在的关系，主要从两个角度进行考虑。 (1) 社交关系相关的算子（Social Information Based Operators） 这类算子从用户出发，做出和推荐系统类似的边推断，将用户节点和节点相似度较高的平台、用户、文章进行连边。 (2) 新闻内容相关的算子（News Content Based Operator） 这类算子更多考虑从内容传播的角度连边的可能性，从而将相似的平台-平台、文章-文章，用户-虚假新闻传播者（bad influencers）相连。 迭代式推断学习 在算法实际运行中，首先根据已有信息和已知图结构对节点表示进行初始化，在迭代步骤中，不断重复推断和表示学习更新的步骤，直到新的图结构趋于稳定，使用最终的节点表示可以对新闻或新闻平台进行分类，算法示意图如下。

实验 数据集构建 在基于平台的检测中，文章基于已有的数据集 Media Bias / Fact Check dataset，其中共包含 859 个新闻发布平台，并具有3类标签（low, mixed, high）。从平台出发，以图构建章节的方法补充用户和文章数据，最终形成的图中共包含 69978 名用户和 93191 篇新闻文章。 在基于新闻内容的检测中，文章将已有的假新闻检测的数据集进行了合并，并以类似的方法扩充用户集合，最终形成了包含 48895 名用户、442 个新闻发布平台和 1050 篇新闻文章的数据集。 平台分类结果 下表展示对平台真假的分类结果，文章对比了现有的 4 种方法，取得了更优的性能。其中M3 的实验设置不同但未公开，通过相同的代码在此文章设置下的结果为 M4 所示。

假新闻文章分类结果 下表展示了对新闻文章真假的分类结果，文章主要与目前性能最好的基线模型 FANG 的比较，并且比较了使用不同的训练集切分比例的模型性能，均表现更好。

此外，文章还通过消融实验分析讨论了不同推断算子的贡献，模型在有限数据上的表现，表征分析了学习到的用户社群。 2

动机 现有的谣言检测方法往往采用推近观察（zoom in），通过捕捉特定行文模式、基于知识库验证内容真实性、考虑用户评论，对给定新闻的真实性做出判断。 这些方法忽略了假新闻创作和传播时所处的新闻环境中蕴含的信息：为了提高影响力和破坏力，假新闻往往存在“蹭热点”的倾向，这使得新闻环境反映的近期主流的媒体焦点和群众关切，成为了假新闻创作中的重要参考。 因此文章拓宽了观察新闻的视角，拉远焦点（zoom out），观察给定新闻与其所在新闻环境的关系。 下图展示了新闻所处的微观环境（micro environment）和宏观环境（macro environment）。在微观环境中的消息文本多和新闻本身内容较为相关，可以观测该条新闻本身的新颖度（novelty）。在宏观环境中的消息文本是同时段并行发生的新闻的事件，内容上有较大差异，可以来衡量给定新闻的流行度（popularity）。

因此，文章提出新闻环境感知框架，并在现有数据集的基础上补充宏观新闻环境数据，在微观和宏观环境下分别捕捉有用信息用于假新闻检测。 方法 新闻环境感知框架（News Environment Perception, NEP）如下图所示，主要分为三部分：第一部分是环境的构建，第二部分是感知，第三部分是基于感知到的环境信息进行预测。

新闻环境构建 对于给定新闻，其宏观环境定义为在新闻发布 T 天前的新闻集合：

其微观环境定义为宏观环境中在语义上与给定新闻最相近的前 k 个新闻集合： 其中每则新闻的语义向量由 BERT 进行初始化。 新闻环境感知 (1) 流行度导向的宏观环境感知 在构建完新闻环境后，分别比对给定新闻和宏观/微观环境的相似度，获取其交互特征。 给定新闻与宏观环境越相似，说明该新闻在发布时段的流传度越广、流行度越高。对于给定新闻 p 和宏观环境中的第 i 则新闻，采用如下方式计算相似度： 和常用的余弦相似度计算方式不同，这样的计算方式可以得到一个受参数控制的相似度值，进而可获取多维度的表示。接着，对宏观环境中的所有新闻的相似度交互向量进行加和： 设置 C 种不同的相似度分散宽度和中心值的参数，拼接后进行正则化，获得给定新闻和宏观环境的相似度向量： 接着再与新闻本身文本信息 p 以及宏观环境的语义平均进行拼接得到最终宏观环境感知向量：

(2) 新颖度导向的微观环境感知 如果给定新闻与微观环境的相关信息过于相似，则新颖度不够突出，不易引起受众关注和传播，文章分别计算给定新闻 p 与微观环境的相似度、微观环境平均语义和微观环境的相似度，并通过比较运算对给定新闻的新颖度进行刻画，计算方式如下：

假新闻预测 在预测阶段，对宏观环境表示和微观环境表示以门控函数进行加权： 接着对总体表示使用全连接网络进行类别预测。 实验 数据集构建 现有的数据集中均未包含宏观环境中的新闻数据，因此文章对已有的中英文谣言检测和事实核查数据集进行了合并，并由此出发抓取宏观环境数据。合并后的中文数据集，包含从2010-2021年间的39066条待验证微博，文章从6大主流媒体的官方微博中超300百万的粉丝中爬取同时段的微博，最终包含了583208条微博数据。合并后的英文数据集包含2014-2018年间的6483条新闻，从主流媒体平台获取新闻标题扩充宏观环境数据，最终包含了1003646则新闻。总体统计信息如下表所示：

结果 文章将六组现有的基线模型在NEP的框架下进行了实验，发现在原基础上均有性能提升：

文章分别去除宏观环境表示和微观环境表示进行消融实验，结果如下：

文章还分析了，调整控制宏观环境新闻数量的参数 T 以及微观环境新闻所占的比例 r 对实验性能的影响：

此外，文章根据宏观环境表示和微观环境表示融合时的权值，分别将两种类型权值最大的前1%抽取出来，并人工进行分类，来分析更依赖宏观大环境或新闻内部微观讨论的新闻类型：

3

动机 现有的事实核查方法大多由搜索引擎获取额外的证据线索，但往往搜索的信息发布于事实验证之后，导致大量的证据存在信息泄露的问题。而假新闻判别时，往往需要基于当下的证据线索，整理为审核文章（review article），给予判别结果。 文章从更专业角度的判别过程出发，将审核文章中链接的先验文章（premise article）抽取出来，从中获取有用判据，并将事实核查建模为文本蕴含和推理任务，判断论据和文章真实性的关系。 数据集构建 文章首先从8个事实核查网站（Politifact, Snopes, AFP Fact Check, Alt News, FactCheck.org, Africa Check, USA Today, Full Fact）获取论断（claim）和相应的审核文章，审核文章中也包含了先验文章的链接。接着文章通过先验文章的链接将相应的内容爬取了出来。最后对数据进行规整化，将爬取的内容整理为纯文本的形式，并统一各个事实核查网站判别的类别为真实的（True）、部分真实的（Partially True/False）、虚假的（False）。 下图展示了从各大网站获取的论断数量，以及各种论断的类别分布：

文章将构建的数据集与已有数据集在数据规模、标签类别、判据来源等方面进行了对比：

方法 建模方法共包含两个步骤，一是证据检索阶段，二是对论断真实性推断阶段。 证据检索(Evidence Sentence Extraction) 文章试验了 2 种证据检索方式：一根据论断与先验文章中句子的TF-IDF相似度进行排序来抽取最相似的句子；二是采用稠密通道检索（Dense Passage Retrieval）的方式，将句子转化为稠密表示来进行类别训练，将句子分类为相关和不相关的。 在稠密通道检索中，使用 BERT 获取句子表示，将查询句向量 Q 和通道句向量 P 点积后得到相似度值，根据相似度进行句子分类。在训练过程中，将和论断相关的审核文章的句子作为正样本，将其他审核文章的句子作为负样本，使用负对数似然作为损失函数进行训练。 论断真实性推断(Claim Veracity Inferenc) 在真实性推断中，文章试验了目前较为广泛采用的 3 种模型：一是采用Bi-LSTM将论断与检索出的判据拼接为序列进行建模；二是采用层次化的注意力网络（hierarchical attention networks, HANs）来更细粒度的考虑不同词级别的影响；三是以 transformer 模型为基础，文章采用 RoberTa-base 来进行微调。 实验 阶段 1 结果 文章通过比较 top-k 召回率来比较两种检索方式的性能，如下表所示：

阶段 2 结果 文章在推断阶段考虑了 2 种设置：一是池化（Pooled），即对所有先验文章中的句子，检索后根据相似度取最相似的拼接起来；二是平均（Averaged），即对每一篇先验文章，取其中最为相似的句子，再拼接起来。结果如下表所示：

序列预测结果 为了更适用于真实场景，文章设置了序列预测（prequential evaluation），即把论断数据按发布时间先后排序，每六个月的数据作为一个子集，预测时将该子集作为测试集，时间在此之前的作为训练集。相应阶段的数据量和实验结果如下图所示：

随着时间推移，相应测试集合对应的训练数据越充分，模型的性能会更好。但在阶段数据激增的情况下，历史上可以参照的数据较不匹配，如16.1-16.7对应美国大选阶段，论断数量较多，模型的性能有所下降。

总结

此次 Fudan DISC 解读的三篇论文围绕多视角的事实核查任务展开。通过探索新闻、用户、发布平台的隐含关系，可以将同质化的信息群体进行关联，从而增强网络表示；通过宏观新闻环境的构建，可以更好的刻画给定新闻在当下的传播流行度和新颖度；通过从先验文章中检索判据并推理，可以更加契合人工判别的过程并有效规避信息泄露的问题。 供稿丨陈    蕾编辑丨沈晨晨责编丨杜梦飞

供稿人：陈蕾丨博士生四年级丨研究方向：计算社会学、谣言检测丨邮箱：chenl18@fudan.edu.cn

📝论文解读投稿，让你的文章被更多不同背景、不同方向的人看到，不被石沉大海，或许还能增加不少引用的呦~ 投稿加下面微信备注“投稿”即可。

最近文章

为什么回归问题不能用Dropout？

Bert/Transformer 被忽视的细节

中文小样本NER模型方法总结和实战

一文详解Transformers的性能优化的8种方法

DiffCSE: 将Equivariant Contrastive Learning应用于句子特征学习

苏州大学NLP团队文本生成&预训练方向招收研究生/博士生（含直博生）

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注~