A Theory of Learning to Infer ：有限资源下不合理的合理性

https://gershmanlab.com/pubs/Dasgupta20.pdf 主要结论自动翻译节选

全文约4000字

abs：

贝叶斯认知理论假设人们可以理性地整合概率。然而,一些经验发现与这个命题相矛盾 :人类的概率推理倾向于系统地偏离最优。令人困惑的是,这些偏差有时会走向相反的方向。尽管一些研究表明人们对先验概率反应不足(基本率忽略),但其他研究发现人们对数据的可能性反应不足(保守主义)。我们认为,这些偏差的出现是因为人脑并不仅仅依赖于一种通用的机制来近似跨查询不变的贝叶斯推理。相反,大脑配备了一个识别模型,将查询映射到概率分布。该识别模型的参数被优化以得到平均尽可能接近真实后验值的输出。由于我们有限的计算资源,识别模型将分配其资源,以便对高概率查询比对低概率查询更准确。通过适应查询分布,识别模型学习推断。

我们表明,这一理论可以解释人们为什么以及何时对数据或先验反应不足,一项新的实验表明, 这两种形式的反应不足可以通过操纵查询分布来系统地控制。该理论还解释了一系列相关的现象:记忆效应,信念偏差,以及概率推理中反应可变性的结构。我们还讨论了如何将该理论与先前基于抽样的近似推理相结合。

关键词:摊销,基本利率忽略,贝叶斯推断,稳健性

在本文中,我们开发了一类新的理性过程模型,它解释了推理错误的上下文敏感性。具体来说,我们建议人们学会推断。我们假设一个近似的识别模型(Dayan, Hinton, Neal, & Zemel, 1995;Kingma & Welling,2013)将查询映射到后验概率。2 基于查询的分布优化该识别模型的参数,使得输出平均上尽可能接近真实的后验概率。这导致了习得性偏差,即忽略哪些信息源,这取决于这些信息源中的哪一个可靠地与真实后验相关。3 重要的是,这种优化是在没有关于真实后验的明确反馈的情况下进行的(Mnih & Gregor, 2014).

像其他的 rational 过程模型一样,我们的方法受到这样一个事实的激励,即任何在复杂的概率模型中执行推理的计算现实的代理——在现实世界中,实时地——将需要进行近似的推理。精确的贝叶斯推断几乎总是不可能的。学习推理指的是一种特定的近似推理方案,使用模式识别系统(例如神经网络,但它也可以是范例概括模型)来发现和利用假设给定数据的条件分布中的模式(后验)。我们将论证,一个相对简单的习得推理模型不仅是一个很好的近似推理方案,纯粹从算法的角度来看,而且还可以解释行为文献中的许多启发式推理模式,在这些文献中,人们已经观察到以难以调和甚至矛盾的方式偏离理想的贝叶斯更新,因为他们似乎以不同的方式和在不同的上下文中偏离贝叶斯规范。我们的学习推理理论解释了为什么在一个系统中观察到这些上下文变化,以及为什么应该观察到它们,这个系统被设计成使有效的近似推理适应它所处的环境。

学习推理

为了理解为什么人们会犯推理错误,我们需要从理解为什么推理很难开始,以及人们可以合理地使用哪种算法来找到近似解。因此,我们将从近似推理算法的一般讨论开始这一部分,确定这些算法的一些限制(计算上和认知上),然后介绍解决这些限制的学习推理框架。这个框架提供了理解反应不足所需的基本原则

理解反应不足

我们现在将习得的推理模型应用于我们的动机问题:对先验概率和证据反应不足的来源是什么?我们认为这些推断误差是由摊销后验近似引起的。这种解释有两个关键因素。首先,摊销近似法具有有限的能力:它只能精确地近似一组有限的后验概率,这是由于近似体系结构有一个计算瓶颈(在我们的例子中,隐藏层中有固定数量的单元)。我们将看到这是如何导致对既往病史和证据的总体反应不足的。第二,可以精确近似的特定后验概率是那些具有高查询分布下的概率。我们将看到这是如何导致对先验或证据的反应不足的。在这一节中,我们将关注第一个元素(有限的容量),因为我们关注的大多数实验都使用接近均匀的查询分布。我们将在随后的章节中讨论第二个元素(依赖于查询分布)。

我们已经证明了 Benja-min (2018) 推理错误的元分析可以通过有限能力的学习推理模型来再现。我们现在对模型如何解释这些现象建立了一种直觉。关键思想是有限的容量迫使模型牺牲一些对后验的保真度,产生退化:一些输入映射到相同的输出(参见 Massey & Wu, 2005 类似的论点)。这种退化可以在 Figure 3,其中大于+5 或小于-5 的前对数优势被映射到几乎相同的近似对数优势值。退化导致对信息源(如样本大小、先验和似然性)的总体反应不足。它还导致在极端对数优势下的近似后验概率遭受相对更大的偏离真实后验概率, 特别是当对数优势极端时(例如,具有更大的样本大小和更多的诊断可能性)对信息源的更大的反应不足。直观上,退化导致模型作为后验对数优势的函数具有相对平坦的响应,这意味着偏差也将随着后验对数优势而增加。

操纵查询分布

在本节中,我们更直接地关注查询分布的作用。我们的模型的一个基本预测是,它将更重视先验或可能性,这取决于两者中哪一个在历史上更能提供关于真实后验的信息。我们在一个新的实验中通过操纵先验的信息含量和学习阶段的可能性来实证检验这一预测,试图在随后的实验条件固定的测试阶段引发对数据的过度反应和反应不足。

摊销的进一步证据:信念偏差和记忆效应

我们现在从对反应不足的分析转移到对习得推理模型的更广泛的评估,集中在两个预测上。首先,该模型预测,人类概率判断的准确性不仅取决于推理引擎的语法(推理引擎处理概率信息的准确程度),还取决于语义(概率信息对应于先前的经验和知识)。语义依赖产生了一种信念偏差,其中当要求人们对可信的概率信息做出判断时,与不可信的信息相比,人们更准确,即使当句法需求(即,贝叶斯规则)相等时。第二,该模型预测会有记忆效应(顺序依赖):一个概率性判断可能会影响随后的判断,即使两个查询是不同的。

信念偏差

在演绎推理的研究中,人们似乎受到他们先前信念的影响,这种影响有时与逻辑正确性相冲突。具体来说,他们倾向于支持结论可信的论点,拒绝结论不可信的论点,而不管论点的逻辑有效性如何(例如,Evans, Barston, & Pollard, 1983;Janis & Frick,1943;Newstead, Pollard, Evans, & Allen, 1992;Oakhill, Johnson-Laird, & Garnham, 1989).这种信念偏差现象在逻辑推理理论之间的裁决中发挥了关键作用。在概率推理任务中也观察到了信念偏差(Cohen, Sidlowski, & Staub, 2017;Evans, Handley, Over, &Perham, 2002).

不受时间、空间或计算约束的推理机将可靠地输出真实的后验分布,而受约束的推理机将输出近似的后验分布。约束推理引擎没有办法知道它的近似与真实的后验有多接近。另一种说法是,约束推理引擎具有认知不确定性,即使引擎本身是完全确定的,因此缺乏任何偶然的不确定性(即由随机性产生的不确定性)。11 因此,我们可以将近似后验概率视为真实后验概率的估计量,并询问我们如何通过使用归纳偏差来改善它:如果我们有一些关于哪个后验概率比其他后验概率更有可能的先验知识,我们可以使用这些知识来对估计量进行偏差,从而抵消计算不精确的影响。

我们新理论的出发点是假设大脑必须有效利用其有限的计算资源(Gershman, Horvitz, & Tenenbaum, 2015;Lieder & Griffiths,2019).这个假设意味着贝叶斯最优性不是概率推理的适当的规范性标准。相反,我们必须考虑概率推理的准确性如何权衡准确性的计算成本。当对计算成本施加限制(这里建模为计算瓶颈)时,被训练来近似概率推理的学习系统将利用查询分布中的规律。这些规则允许系统有效地使用其有限的资源,但是当在查询分布下回答低概率的查询时,它也会产生系统错误。我们证明了这些正是人们犯的错误。

我们使用神经网络函数逼近器实现了该理论的特定版本(学习推理模型),其中计算瓶颈对应于隐藏层中的节点数量。我们对神经网络函数逼近器的选择是由概率生成模型和神经网络的优势之间的自然互补性推动的。神经网络最好被认为是模式识别和函数逼近工具,而不是表示关于世界的因果知识的方式(Lake, Ullman, Te-nenbaum, & Gershman, 2017).相比之下,概率生成模型是表示关于因果结构的知识的好方法,并定义了我们在从数据推断隐藏原因时试图解决的问题,但它们没有指定好的有效推理算法。通过使用神经网络来学习在概率生成模型中进行推理,认知代理可以结合这两种方法的优势。

习得推理模型还提供了对一系列其他推理错误的洞察。例如,我们展示了它如何解释概率推理中的信念偏差,即当给定的概率与他们的现实世界知识一致时,人们更接近贝叶斯规范(Cohen et al.,2017).根据该模型,信念偏差的产生是因为函数逼近器必须对查询空间中未经训练的区域的后验进行预测。另一个例子是在概率推理中发现顺序效应:如果两个后验分布足够相似(Dasgupta et al.,2018).根据该模型,这是因为响应于第一查询的学习改变了函数逼近器的参数,从而偏向第二查询的输出。

最后,我们展示了学习推理模型如何为先前由提出的校正提供新的实现 Zhu et al.(2018)根据这种方法,推论被正则化为频繁出现的后验概率。总之,这些结果丰富了我们对人们如何在具有计算挑战性的任务中执行近似推理的理解,这可以通过学习观察数据和后验数据之间的映射来完成。我们提出的学习推理模型是一个强大的人类推理模型,它将学习和记忆置于概率推理的核心。