为工程师设计的自由能agent软件

摘要

主动推理代理的理论性质令人印象深刻，但我们如何在边缘设备上实现有效的硬件和软件工作的代理？这是一个有趣的问题，因为策略探索的计算负载呈指数级增长，而边缘设备的计算资源非常有限。在本文中，我们讨论了支持一个有能力的非专家工程师开发工作的主动推理代理的软件工具箱的必要特征。我们引入了一个正在开发的工具箱，旨在以类似于TensorFlow推动的深度学习技术应用的方式，加速主动推理代理的民主化。

1介绍

这份立场文件旨在补充最近关于设计未来智能生态系统的白皮书，其中自主主动推理(AIF)智能体通过与其他AIF智能体的情境交互来学习有目的的行为[11].白皮书指出，这些代理人“...可以通过(变化的)消息传递或因子图上的信任传播来实现”[11,摘要】。在这里，我们讨论支持这一愿景的因子图软件工具箱的计算要求。注意到深度学习系统商业化机会的急剧增加极大地促进了专业级工具箱的可用性，如TensorFlow和successors，我们声称需要高质量的AIF软件工具箱来实现中的命题[11].因此，在本文中，我们提出了这样一个问题:因子图工具箱应该具有什么样的性质，才能使一个称职的工程师开发出相关的AIF代理？这个问题很重要，因为申请奖学金的人数

托诺莫斯·AIF代理公司预计将大大超过AIF和机器人领域的世界级专家。

作为一个说明性的例子，考虑一个工程师(Sarah ),他需要设计一个四足机器人，其任务是进入建筑物并关闭阀门。我们假设Sarah是一名有能力的工程师，拥有硕士学位，在编码和控制系统方面有几年的经验。她有一些概率建模的知识，但不是这些领域的顶级专家。

为了让莎拉从设计机器人的每个细节中解脱出来，我们期望机器人拥有一些“智能”适应能力。首先，机器人应该能够定义子任务并自主解决这些任务。其次，由于我们事先不知道建筑物的内部地形，机器人应该能够在特定条件下调整其行走和其他运动技能。第三，我们期望机器人能够实时、稳健地运行，并巧妙管理其计算资源的消耗。

萨拉的AIF软件工具箱应该无缝地支持所有这些机器人特性。例如，她应该不需要知道如何在她的算法中实现鲁棒性的细节，或者为了有效的规划目的，机器人在任何给定的情况下需要向前看多少时间步。我们想要一个工具箱，使有能力的工程师能够开发有效的AIF代理，而不是一个由世界级机器学习专家组成的工具箱。我们确实期望Sarah能够通过概率(世界或一般)模型的高层次规范，或者至少是支持行为的先验偏好或约束，来描述她对期望的机器人行为的信念。

在回顾了遵循自由能最小化的一些促动剂性质后(第2), 我们继续讨论为什么因子图中的消息传递是实现AIF代理的合适框架(第3.1).更具体地说，我们认为基于反应式编程的消息传递实现将成为专业级AIF工具的标准(第3.2).与通常的过程化编码风格相比，反应式消息传递提高了健壮性(第3.3),更低的功耗(部分3.5), 硬实时处理(章节3.4),以及对连续模型结构适应的支持(第4).在截面中5.3我们介绍了RxInfer，这是一个正在开发中的工具箱，用于开发AIF代理，它通过反应式消息传递来实时地鲁棒地最小化自由能。

2自由能原理与主动推理

2.1FEP合成AIF剂

自由能原理(FEP)描述了持续自然代理(如大脑)的自组织行为，作为一个信息论的最小化

称为变分自由能的泛函。1从本质上讲，FEP是一个承诺，通过汉密尔顿的最小作用原理来描述适应性行为[14].在通过活动和感觉状态与其环境相互作用的介质中执行FE最小化的过程是

叫做主动推理(AIF)。至关重要的是，FEP声称，在天然药物中，铁最小化是所有正在发生的事情。虽然信号处理、控制和机器学习等工程领域被视为不同的学科，但在

自然，这些领域都涉及相同的计算机制，即有限元最小化。

对于一个工程师来说，这是个好消息。如果我们希望设计一个合成的AIF智能体，仅通过自我导向的环境交互来学习有目的的行为，我们可以专注于两个任务:

1.代理模型和推理约束的说明。这相当于(约束)有限元泛函的规范。

2.在环境相互作用的驱动下，在特定条件下，不断降低模型中铁含量的方法。

我们对支持这两项任务的工程工具箱的开发很感兴趣。

2.2问题描述和解决方案同时改进的有限元法

机器人的一个重要品质将是为自己定义任务，并自主解决这些任务。在此，我们将简要讨论FEP如何支持这一目标。

1为了便于参考，我们在本文中使用了以下缩写:主动推理(AIF)、约束贝特自由能(CBFE)、期望自由能(EFE)、(变分)自由能(FE)、自由能原理(FEP)、自由能最小化(FEM)、消息传递(MP)、反应消息传递(RMP)。For reference, we use the following abbreviations in this paper: Active Inference (AIF),

在变分和最优(贝叶斯)后验之间。第一项“惊奇”可以解释为模型中问题表现的表现得分。这个术语完全独立于任何推理性能问题。第二项(界限)相对于最优(贝叶斯)推理解决方案，对实际解决方案的推理效果进行评分。换句话说，FE泛函是一个通用的成本函数，可以解释为问题表示和解决方案建议成本的总和。有限元最小化通过对潜在变量的推理，改进了问题的表达并解决了问题。特别地，在特定模型结构p上的FE最小化应该导致嵌套子模型，其反映了感觉数据的因果结构。在这些子模型中，子任务通过有限元最小化来解决。因此，子任务的创建和这些子任务的求解都完全由FE最小化来驱动。

总之，高端工具箱应该能够通过q(z)的调整(导致当前模型p的更好的解决方案建议)和模型结构p(导致更好的问题表示)来最小化潜在变量上(信念上)的FE。

此外，FE分解为问题和解决方案成本的有趣结果是，与推理成本高的具有良好问题表示(高贝叶斯证据)的模型相比，具有高级推理过程的相对较差的问题表示可能更受欢迎(由较低的FE证明)。具有最大贝叶斯证据的模型在实际应用中可能不是最有用的模型，这一概念为FE仅仅作为贝叶斯证据的上限的常见解释带来了有趣的启示。我们在这里认为，FE实际上是一个更有原则的模型性能分数，因为除了贝叶斯模型证据之外，FE还对由于不准确的推理过程而导致的模型性能损失进行评分。

2.3智能数据集和资源管理的AIF

如果我们希望机器人能够应对未知的物理地形条件，仅根据大量相关示例离线预训练机器人是不够的。机器人必须能够获取相关的新数据，并在真实世界条件下更新其模型。

生成模型向未来展开时的FE最小化导致了被称为预期自由能(EFE)的成本泛函的最小化。可以看出，EFE分解为实用(目标驱动，开发)和认知(信息搜索，探索)成本的总和[9].因此，推断行动平衡了获取信息数据(以学习更好的预测模型)的需求和达到期望的未来行为的目标。

与当前人工智能在更大数据集上训练更大模型的方向相反，主动推理过程引出了最佳的信息性、小型(“智能”)数据集，用于训练“足够好”的模型，以实现期望的行为。AIF代理足够适应完成手头的任务，同时最小化诸如能量、数据和时间等资源的消耗。

数据准确性和资源消耗之间的权衡取决于(1b)作为复杂性减去准确性的度量。根据这种分解，只有当精确度的增加超过资源消耗成本时，才追求更精确的模型。

简而言之，完全由FE最小化驱动的AIF代理将固有地管理它们的计算资源。这些代理自动推断动作，这些动作引出适当的信息数据，以将他们的技能提升到足够好的性能水平。由于主体和环境在实时信息处理循环中相互影响，如果没有主体的参与，不可能通过环境采样获得相同的数据集。

3通过反应消息传递的FE最小化

3.1为什么是基于消息传递的推理？

到目前为止，我们的论点强烈支持AIF作为机器人的信息处理引擎。不幸的是，模拟一个非平凡的合成AIF代理的计算需求是极端的。为了比较，考虑实时最小化的人脑，对于小于20瓦，

在大约100万亿个潜在变量(突触)上的高度随时间变化的FE泛函(大约每秒一百万比特的视觉数据速率)。据估计，在完成数量相当的信息处理任务时，人脑消耗的能量比高科技硅计算机少约一百万倍。[17].

显然，人脑最小化FE的方式与标准优化工具箱中可用的方式非常不同。在这一节中，我们将讨论开发一个基于在因子图中传递反应信息的有限元最小化工具箱。

首先，我们简短地概括了为什么因子图中的消息传递对于大型模型是一种有效的推理方法。考虑一个因式分解的多元变量函数

中的计算(4), 其仅需要几百次求和与乘法，从计算负荷的观点来看，显然是优选的。

变分有限元最小化也可以通过在因子图中传递消息来执行。

事实上，几乎所有已知的因子分解模型的有效变分推理方法都可以解释为一个所谓的“约束贝特自由能”(CBFE)泛函的最小化[16].在这个公式中，后验变差信念被分解成图的节点和边上的信念。可以对这些局部信念添加约束，例如要求特定的变分后验概率由高斯分布表示。通常，通过因子图中的消息传递的CBFE最小化支持过多约束的局部适应，以优化准确度和资源消耗。[16, 1]

用于具有大量潜在变量的数据流的实时处理的有用的动态模型必须是稀疏连接的，因为否则，实时推理将是不容易处理的。在稀疏模型中，通过在模型的因子图表示中传递消息，可以大大降低推理的计算复杂度。特别地，通过因子图中的消息传递的自动CBFE最小化支持精确度与资源消耗平衡的精细优化。

3.2反应式与过程式编码风格

接下来，我们讨论一个合成AIF智能体的关键技术部分，即通过反应式编程范例执行FE最小化的要求。

所有基于MP的推理的一个关键特征是推理过程完全由一系列(可并行化的)小步骤(消息)组成，这些小步骤(消息)单独且独立地有助于FE最小化。因此，基于消息传递的FE最小化过程可以在任何时候被中断，而不会丢失重要的中间计算结果。

在实际设置中，一个正在进行的推理过程可以在任何时候被健壮地(不崩溃地)中断并产生结果是非常重要的。只有当推理过程以小步骤迭代地更新其信念时，或者换句话说，通过消息传递，才能可靠地检索这些中间推理结果。此外，推理过程不应受制于包含for循环的规定控制流。相反，如果我们要用编程语言为随时可中断的推理过程编写代码，我们应该

使用反应式编程风格，而不是更常见的过程式编程风格。在反应式编码的推理引擎中，没有用于控制流的代码，例如“do”

首先是这个，然后是那个”，而是仅仅描述一个处理模块(一个因子图节点)应该如何对输入消息的变化做出反应。我们将这个过程称为反应式消息传递(RMP)[2].在RMP推理过程中，对于传递诸如Viterbi之类的消息，没有规定的时间表

或者贝尔曼算法。相反，每当FE由于新的观察而增加时，RMP推理过程就通过FE最小化来做出反应。

在图。2, 我们展示了为像Sarah这样的应用程序工程师选择反应式编程风格的后果。算法1中的过程式编程风格要求Sarah为推理过程提供控制流(“过程”)。Sarah需要为何时收集观察值、何时更新状态等编写代码。算法-1中的特定控制流只是一个例子，并且存在旨在提高控制流效率的文献[5,10].为了给一个复杂的AIF代理编写一个高效的推理控制流配方，Sarah需要成为这个领域的绝对专家。

相比之下，考虑算法-2中用于反应性推理的代码。在反应式编程范例中，没有控制流。相反，唯一的推理指令是让代理对任何最小化FE的机会做出反应。当通过反应式消息传递工具箱执行FE最小化时，应用工程师只需要指定模型。

除了降低应用工程师设计有效AIF代理的能力之外，实现FE最小化的过程风格从根本上来说是不合适的。Algorithm-1中的控制流必然包含许多只有在部署期间才知道的设计选择。例如，为了计算EFE，代理应该把它的模型推广到未来多远？这种信息与上下文高度相关，应用工程师无法获得。相比之下，应用工程师的反应推理代码(“对任何FEM机会作出反应”)适用于任何环境中的任何模型。

图2:AIF代理程序性和反应性编码风格的伪代码。

在反应式推理设置中，适当的计划范围将根据上下文信息不断更新(推断)。换句话说，是反应式FEM过程本身导致了推理控制流程的优化。

3.3稳健性的RMP

由于AIF代理在情境条件下执行，所以它必须实时稳健地执行FE最小化过程。考虑一个代理，它的计算资源由一个图表示，FE最小化是通过在该图上执行基于MP的推理得到的。以规定的固定顺序访问图中节点的任何MP调度(如FE最小化的过程方法中的情况)容易受到调度中任何节点故障的影响。原则上，FE最小化过程需要停止

并继续计算新的MP计划。由于有限元最小化是唯一正在进行的计算过程，机器人在复位后基本上蒙着眼睛移动。显然，为了保持稳健，我们需要一个能持续最小化FE的系统，即使该图的某些部分会随着时间的推移而分解。在反应式推理框架中，组件的折叠只是切换到另一个模型结构。新型号的性能可能会更好或更差

FE最小化，但没有理由停止加工。

3.4实时情境处理的RMP

当给定平台上的计算资源用完时，正在进行的RMP过程总是会被中断。这样，通过交易计算

复杂度(即消息的数量)为了准确性，任何基于RMP的推理过程都可以缩减为实时处理过程，其中当然可能必须根据可用的计算资源来支付预测准确性的代价。简而言之，如果我们在因子图中通过RMP实现推理，任何模型中的FE最小化都可以在任何计算平台上实时执行。

3.5面向低功耗的RMP

类似地，如果预期的准确性提高没有超过额外的消息将导致的预期的计算负荷，正在进行的RMP过程总是可以被终止。2注意，由于FE分解为计算复杂性减去准确性，因此中断基于RMP的推理过程完全符合FE最小化的目标。

由于任何上述原因(例如，节点故障、计算资源耗尽、预期的处理成本超过预期的精度收益等)而中断正在进行的MP过程。)，原则上总是导致牺牲一些预测精度以有利于节省计算成本。至关重要的是，这些中断不会导致反应式系统的系统崩溃。

4模型结构适应

在截面中2.2, 我们提到了这样一个概念，FE最小化应该理想地驱动生成模型p进化为结构分离但相互沟通的子模型，这些子模型反映了环境的因果结构。从技术上来说，这是由于低惊喜的驱动(log p(x))。

在线结构调整之所以重要，还有另一个原因。

以最小的计算成本获得最大的推理精度。相反，反应代码只是声明系统应该对任何FE最小化机会作出反应(通过消息传递)。在反应框架中，通过在CBFE的所有可移动部分上的连续最小化，即通过在状态、参数、结构(p的适应)上的FEM，随着时间的推移学习聪明的推理，

和约束(q的结构的适应)。为了学习最有效的推理路径，工具箱应该支持p和q上的结构适应。

不幸的是，机器人部署期间的在线结构适应仍然是正在进行的研究课题，例如，[8, 15, 3].一个技术难题

2只有在不存在冯诺依曼瓶颈的情况下，计算负载和复杂性才能相提并论(即，与致命计算或内存处理相提并论)。这是因为读写内存“浪费”了能量和时间。The computational load and complexity can only be equated in the absence of a Von

这是一个有效的推理控制流程(哪些状态在什么时间更新，等等。)可能会随着创成式模型结构的改变而改变。在过程式编程风格中，我们需要重置系统并重新编写算法-1中的推理代码(图1)。2).这与代理在部署期间适应的需求不兼容。如上所述，反应式编程风格解决了这个问题，因为应用程序推理代码(图1中的算法-2)。2) 独立于模型结构。

5讨论

5.1辩论回顾

我们简要总结了我们对相关AIF代理设计的专业级支持软件工具箱的看法，参见表格1.在截面中2,我们讨论了一些非凡的特征，这些特征直接来自于将自由能最小化作为未来人工智能生态系统的唯一计算机制，正如Friston等人所提出的。[11].首先，AIF代理中的FE泛函可以被解释为原则上适用于所有问题的通用性能标准。如果FEM可以扩展到结构模型调整，那么AIF代理自然能够创建和解决子问题。此外，由于将EFE分解为信息和目标搜寻成本的总和，AIF代理人自然会寻找小型“智能”数据集。在FEM实现方面，我们断言有用的模型是高度分解的和稀疏的。因子分解模型中的有效推理总是可以描述为因子图中的消息传递。特别地，几乎所有已知的有限元高效信息传递算法的变体都可以在一个框架内形成为最小化约束Bethe自由能

(CBFE)。

然后，我们声称，反应性而不是程序性的处理策略是必不可少的。基于反应式消息传递(RMP)的推理总是可中断的，并且具有推理结果，因此支持有保证的实时处理，

这是现实世界中对AIF特工的硬性要求。相比之下

表1:在AIF代理中支持反应式消息传递和结构自适应的好处总结。

对于FEM的更常见的程序编程方法，反应式处理还提高了鲁棒性、资源消耗以及在不需要重置推理过程的情况下进行结构改变的能力。

这后一个特性，对在线结构自适应的支持也是高质量AIF工具箱的一个重要特性。在线结构调整导致持续的问题表征改进(通过降低惊奇)和更有效的推理过程。

5.2审查现有工具

目前，有一个小而活跃的研究团体在开发模拟合成AIF药剂的开源工具。在这个社区中，已经发布了一些支持包，包括SPM[12],PyMDP[13]还有ForneyLab[6].SPM工具箱最初由Karl Friston及其同事编写，现已发展成为一套非常庞大的工具和演示工具，用于对UCL团队及其合作者的科学成果进行实验验证。PyMDP是最近由Conor Heins、Alexander Tschantz和一组合作者开发的用于模拟离散状态POMDP模型的Python包。ForneyLab.jl是BIASlab(http://biaslab.org)用于通过消息传入来模拟FE最小化

Forney式因子图。不幸的是，上述工具都不支持基于被动消息传递的推理。因此，我们相信这些工具将作为AIF原型和验证工具很好地服务于社区，但是它们不会扩展到支持具有商业化价值的AIF代理的实时、健壮的模拟。

5.3使用RxInfer传递被动消息

最近，BIASlab发布了开源的Julia包RxInfer(http://rxinfer.ml)支持Sarah级别的工程师开发商业相关的AIF代理，通过在因子图中传递自动反应消息来最小化FE[2].Julia是一种现代的开源科学编程语言，具有MATLAB的语法和C语言的开箱即用速度[4].

RxInfer的开发流程主要关注以下几个方面:

1.模型空间覆盖

•RxInfer旨在为一个非常大的可自由定义的相关概率模型集支持基于被动消息传递的FEM。

2.用户体验

•RxInfer旨在支持一个忙碌的、有能力的、理解概率建模(但不了解Julia)的研究人员或开发人员设计并在世界上部署一个AIF代理。特别是，应该支持嵌套AIF代理的用户友好规范。

3.适应

•RxInfer的目标是通过自动有限元法对CBFE泛函的所有可移动部分，包括状态、参数、结构和变分约束，支持连续的适应。

4.实时的

•RxInfer的目标是在特定条件下“硬”实时处理数据流，甚至是大型模型。较大的模型可能导致不太准确的推断(根据变分和贝叶斯后验概率之间的KL-divergence)，但不会导致崩溃。

5.低功耗

•RxInfer的目标是在任何可能随时间变化的功耗预算下处理数据流。较低的功率预算可能导致不太准确的推断，但不会导致崩溃。

在撰写本文时，RxInfer通过对大量可自由定义的模型中的状态和参数进行反应式消息传递，支持快速、鲁棒的自动CBFE最小化。RxInfer处理流数据的速度非常快，但还不能保证实时性。AIF代理商的用户友好规范将于今年夏天发布。NUV先验(方差未知的正态先验)支持模型结构自适应[15], 但是还没有通过在线贝叶斯模型简化[3,8].RxInfer提供了大量的例子，并计划在未来支持上述优先级列表。

6结论

在RxInfer或类似工具箱的支持下，未来的人工智能工程师将不再设计最终产品算法，而是用简短易读的代码脚本来设计生产算法的设计者(AIF代理)。随着[11], 我们认为，在交流AIF特工的生态系统中，共享情报的潜在好处怎么强调都不为过。正如我们在这份立场文件中所指出的，实现这一愿景所需的底层技术要求非常高，而且目前尚不可用。尽管如此，我们也认为这不是遥不可及的，并且是人工智能领域最令人兴奋的正在进行的研究线索之一。

6.0.1感谢

我要感谢BIASlab的同事(http://biaslab.org)的工作环境和匿名审稿人对草稿版本的出色反馈。本文件中的一些措辞，如脚注2，直接来自一位审稿人。

参考

[1]塞米赫·阿克巴拉克、伊万·鲍恰洛夫和伯特·德弗里斯。“自动近似贝叶斯推理的扩展变分消息传递”。载于:营养23.7(2021年7月)。数字:7出版社:多学科数字出版研究所，第815页。刊号:1099-4300。doi:10.3390/e23070815。

网址:https : / / www。mdpi。com/1099-4300/7/815(于2023年5月26日访问)。

[2]德米特里巴加耶夫和伯特德弗里斯。“可扩展贝叶斯推理的反应式消息传递”。载于:《科学规划2023》(2023年5月27日)。出版者:欣达维，e6601690。刊号:1058-9244。doi:10.1155/2023/6601690。网址:https://www.hindawi.com/journals/sp/2023/6601690/(于2023年5月28日访问)。

[3]Jim Beckers等人通过变分自由能最小化对贝叶斯神经网络进行原则性修剪。2022年10月17日doi:10 .48550 /arXiv.2210.09134。arXiv:2210.09134。网址:http://arxiv.

org/abs/2210.09134(于2023年5月26日访问)。

[4]杰夫·贝赞森等人，《朱莉娅:数值计算的新方法》。载于:暹罗评论59.1(2017年1月1日)。出版商:工业和应用数学学会，第65-98页。刊号:0036-1445。doi:10 .1137 /141000671。网址:https://epubs.siam.org/doi/10.1137/141000671(于2022年3月2日访问)。

[5]泰欧菲尔冠军，马雷克·格泽和霍华德·鲍曼。“在变分消息传递中实现主动推理:结果盲确定性搜索者”。摘自:神经计算33.10(2021年9月16日)，第2762–2826页。刊号:0899-7667。doi:10.1162/neco_a_01422。网址:https://doi.org/10.1162/neco_a_01422(于2023年5月26日访问)。

[6]马尔科·考克斯，西斯·范·德·拉尔和伯特·德·弗里斯。“贝叶斯信号处理算法自动设计的因子图方法”。载于:《国际近似推理杂志》第104期(2019年1月1日)，第185–204页。issn: 0888-613X。doi:10.1016/j.ijar.2018.11.002。网址:http://

www.sciencedirect.com/science/article/pii/S0888613X18304298

(2018年11月16日访问)。

[7]分配财产。在:维基百科。页面版本ID: 1124679546。2022年11月29日。网址:https://en.wikipedia.org/w/index.php?title=Distributi属性&oldid=1124679546(于2023年5月26日访问)。

[8]卡尔·弗里斯顿、托马斯·帕尔和彼得·泽德曼。“贝叶斯模型简化”。in:arXiv:1805.07092[stat](2018年5月18日)。arXiv:1805 .07092。网址:http://arxiv.org/abs/1805.07092(2018年5月28日访问)。

[9]卡尔·弗里斯顿等，“主动推理和认知价值”。载于:认知神经科学0(ja 2015年2月17日)，无效。刊号:1758-8928。doi:10 .1080/17588928.2015.1020053。网址:http://dx.doi.org/10.1080/

17588928.2015.1020053(于2015年2月22日访问)。

[10]卡尔·弗里斯顿等人，“复杂的推理”。摘自:神经计算33.3(2021年3月1日)，第713–763页。刊号:0899-7667。doi:10 .1162 / neco _a_01351。网址:https :// doi。org / 10。1162 / neco _a_ 01351(访问日期

02/14/2022).

[11]从基本原理设计智能生态系统。2022年12月2日。doi:10 .48550 / arXiv。2212 .01354。arXiv:2212 .01354[nlin]。网址:http :// arxiv。org / abs / 2212。01354(相对于

于2022年8月12日发布)。

[12]Karl J. Friston等人的SPM12工具箱，http://www.fil.ion.ucl.ac.uk/spm/softw

2014.

[13]Conor Heins等人，“pymdp:用于离散状态空间中主动推理的Python库”。In: arXiv:2201.03904 [cs，q-bio](2022年1月11日)。arXiv:2201 .03904。网址:http : / / arxiv。org / abs / 2201。03904(于2022年3月2日访问)。

[14]科尼利厄斯·兰佐斯。力学的变分原理。第四修订版。版本。纽约:多佛出版公司，1986年3月1日。464页，国际标准书号:978-0-486-65067-8。

[15]Hans-Andrea Loeliger等人，“关于NUV-EM、高斯信息传递和卡尔曼平滑的稀疏性”。In: 2016信息理论与应用研讨会(ITA)。2016信息论与应用(ITA)。美国加州拉霍亚:IEEE，2016年1月，第1-10页。isbn: 978-1-5090-

2529-9.doi:10.1109/ITA.2016.7888168。网址:http://ieeexplore.ieee.org/document/7888168/(于2021年7月21日访问)。

[16]i̇smail·申纳兹等人，“因子图中的变分信息传递和局部约束处理”。载于:熵(瑞士巴塞尔)23.7(2021年6月24日)，第807页。刊号:1099-4300。doi:10.3390/e23070807。

[17]类器官智能(OI):生物计算和盘中智能的新前沿。载于:科学前沿(2023)。出版商:Frontiers。