Wiztalk第三场：鉴别真话假话，人工智能终于也能行了

腾讯高校合作

发布于 2020-06-23 16:10:15

4090

发布于 2020-06-23 16:10:15

文章被收录于专栏：腾讯高校合作腾讯高校合作

6月23日晚19:00，我们将邀请清华大学计算机副教授、博士生导师刘知远和清华大学计算机系硕士生周界进行主题为“基于图结构的事实验证”的Wiztalk腾讯广告专场系列分享。欢迎各位聆听。

直播链接：https://www.withzz.com/live/204。

扫描下方二维码或点击“阅读原文”可进入本次精彩分享。

分享主题内容介绍

从浅显的文本处理走向推理和判断

随着自然语言处理（NLP）技术的逐渐发展成熟、文本语料数据的不断积累，我们能设计、训练出越来越强大的NLP模型，越来越多的语言相关任务也已经从人工转向了由NLP模型自动处理，各种语言互译的机器翻译就是最典型、最常见的例子。不过也有一些更高级的NLP应用需要的不仅是更多的语料数据，还需要更准确的语料数据，比如知识图谱建立、基于文本的开放问答，都需要文本语料真实、可信，才能得到好的结果。

在这样的背景下，事实鉴别事实验证（FactVerification）这个问题近年来逐渐得到越来越多的重视被重视起来。事实验证鉴别是指，给出一条陈述以后，要根据若干条线索判断这条陈述是“得到支持”的、“和证据不符”的、还是“信息不足无法判断”的，简单来说就是真假判断，它本身也是一项需要理解、加工、推理才能完成的有一定难度的任务。。

除了为其它的NLP应用服务以外，验明真伪这件事本身在这个自媒体发达、网络上的信息快速更新发酵的时代也有很大作用——很多人根据大众的心理期待编造假消息，即便读者当时看得开心，但假消息始终都是不应当被鼓励的，也可能会对涉及到的人和事造成实际的伤害。

事实验证的难点

许多陈述的真假判断都需要基于多条不同的证据综合判断，这正是这个任务的难点。一个例子比如：

例1

陈述：电视剧《Giada at Home》只能通过购买DVD观看。
证据1：《Giada at Home》是一部Food电视台在2018年10月首映的电视剧。
证据2：Food电视台是一家美国的有线电视+和卫星电视频道。

想要判断给出的这条陈述是否正确，不仅没法通过证据1或者证据2中的某一条单独判断，在联合运用这两条证据的时候也不那么简单，需要根据两条证据之间的联系重新组织逻辑关系，相当于构造出含有新的信息的新证据，然后再据此判断。

还有更复杂的情况，有若干个证据，而且证据并不都是和陈述相关的，请看例2.

在实际的自动化检测中，我们的证据抽取模块并不能总是抽取出能够帮助验证的证据，它们往往会引入一些噪声，如何处理抽取证据中的噪声也是这个问题的另一个挑战，请看例2.

例2

陈述：Al Jardine 是一位美国节奏吉他手。
证据1：他最广为人知的身份是乐队的节奏吉他手，他偶尔也会在“Help Me, Rhonda”、“Then I Kissed Her”、“Come Go with Me”等单曲中担任主唱。
证据2： Alan Charles Jardine （1942年9月3日出生）是一位美国音乐家、歌手、作曲家，而且他和别人一同成立了the Beach Boys乐队。
证据3：2010年，Jardine 发布了他的首张个人独唱专辑，名为《A Postcard from California》
证据4：1988年，Jardine作为the Beach Boys乐队的一员入选了摇滚名人堂。
证据5：Ray Jardine，美国攀岩选手，轻装背包客，发明家，作家以及全球探者。

在这个例子中，只需要联合证据1、2就可以判断出给出的陈述是“得到支持”的，其它三条证据都派不上用场，而证据5甚至是另一个人物的相关介绍。。

但实际上，当前的大多数事实验证鉴别方法的处理能力并不理想，它们要么每次只能处理一条陈述和一条证据，要么只能简单地把不同的证据文本依次串联到一起（以便把多条证据合并为一条证据来处理），所以它们经常无法从线索中捕捉到足够多的关系和逻辑信息。

上面的例1和例2，都没办法单独根据某一条证据做出判断，简单把证据串联在一起也不行往往也会引入很多噪声，模型必须要在理解语义、找到逻辑关系的基础上才能进行判断。为了能够综合整合不同证据之间的有用信息、形成新的逻辑链条并完成判断，清华大学刘知远老师教授团队设计了一个运用了图结构的GEAR模型，它就可以很好地完成复杂的事实验证鉴别任务。

在先进的语言表征下让逻辑关系开花结果

GEAR模型的全称是Graph-basedEvidence Aggregating andReasoning，正如其名，它的设计和运行基于图（graph），然后并且它能执行证据的聚合和推理。

在GEAR模型中首先会构造一个全连接的证据图，并且鼓励证据之间传播信息。接着，模型会通过一个图注意力机制把聚合证据片段之间进行聚合，并通过一个分类器来判断现有证据对陈述的支持程度，即“得到支持”、“和证据不符”、还是“信息不足无法判断”。直觉上来说，只需要让证据中含有的信息做足够多的交换和推理，交汇的信息、有关联的逻辑链条就会自然浮现，这个模型就能够做出合理的判断了。用来聚合证据判断的注意力机制也能优先提取出含有有效信息的证据句子，避免被多余的、无关的证据句子干扰。

不过这还不够，自然语言毕竟具有一定的灵活性，同样的意思也许换一个方式表达，模型就理解不了了。好在现在我们有相对简单的方法来解决这个问题，那就是使用优秀、有效的预训练语言表征模型，比如BERT。所有的输入句子首先要提取BERT表征，然后再进入后续的处理流程，模型就能对证据中的信息以及要判断的陈述中的信息都做出更准确的处理。

作者们在采集自维基百科的FEVER事实提取及验证数据集上对GEAR模型进行了测试，不仅真假判断的准确率可以比以往的模型提升3%到4%，而且这个模型可以应对超过三句的证据输入，并仍然做出正确的判断。在需要多条证据联合推理的样本中能够取得更好的效果。

GEAR模型应用

正如它本来的设计目标那样，GEAR模型有能力根据大量的文本材料判断给出的句子的真伪，它首先就可以用来鉴别网络上的各种信息。尤其一些自媒体会编造各种吸引眼球、但并不真实的虚假信息，GEAR就有机会可以帮助网络媒体平台更快地核实并阻止虚假信息蔓延。GEAR也可以为知识图补全、开放领域问答等任务进行知识库文本的验证，提升后续流程以及最终结果的准确性。

通过图结构的使用，GEAR模型有基于多条材料综合分析判断的能力。在这一点的基础上进行拓展，可以进一步开发出适用于别的场景的模型，比如综合分析同一批用户在不同平台上的行为数据，就有机会挖掘出更准确的用户属性、进行更准确的用户聚类，从而对在线广告业务起到很大帮助。比如将用户在不同平台上的行为数据看做“证据”，综合分析后有机会挖掘出更准确的用户属性，从而对给出的用户行为进行“验证”，判断当前用户行为的可信度，从而对在线广告业务提供一定的帮助。

值得一提的是，由于GEAR模型的设计中用到了图神经网络的一些知识和方法，所以作者团队也撰写了一篇关于图神经网络的文献综述文章，梳理了现有的图神经网络模型的发展脉络、介绍了不同模型的特点、系统分类了不同模型的应用，并提出了这个方向未来发展需要面对的四个开放性问题。详细阅读原文可见《GraphNeural Networks: A Review of Methods andApplications》

文章网址：https://arxiv.org/abs/1812.08434

关于GEAR模型技术细节的深入讲解，我们将邀请论文作者在Wiztalk系列学术视频中为大家详细介绍。敬请期待。