Nature Physics：网络架构中两种并行能力的取舍

导语

尽管人在执行多任务时，会更容易犯错，但大脑，以及当前的人工神经网络，能在多任务间的切换，这本身就是其最引人注目的特点之一。普林斯顿大学的研究者，近日在Nature Physics发表论文《网络架构并行处理能力的拓扑极限》，指出了共享的表征网络限制多任务切换的能力。

郭瑞东| 作者

邓一雪| 编辑

论文题目：

Topological limits to parallel processing capability of network architectures

论文地址：

1. 两种并行能力

当我们谈到多任务处理时，一种侧重于一个独立执行多个进程的网络的“独立并行”，另一种则侧重于在包含复杂表示的学习和处理过程中，结合各种相互作用的约束的“交互并行”。人类的认知过程，大多基于第二种并行，而计算机中的并行运算，则属于第一种。

人类行为提出了一个有趣的难题，一方面，我们可以轻松地同时完成多种任务,比如走路，说话，对周围环境做出反应,所有这些都可能涉及大量的同时计算。另一方面，我们从根本上受制于我们同时完成其他任务的能力，比如同时计划购物清单多位数心算。前者属于第二类交互并行，而前者属于第一类。

之所以人类在需要控制第二类任务上，无法多任务处理，传统的看法是因为这些任务本身依赖于共同使用的表征，从而需要解决相互竞争的资源间的冲突。例如心算和规划下周的购物单，都需要使用数字这一公用的表征。

目前，两种并行计算通常被看作是独立的，设计交互式并行（例如，深度学习）用于解决需要同时满足许多约束的问题（如人脸识别或自然语言处理），或设计独立并行的体系，（如传统的多线程）的问题，用于解决可以分解的问题。然而大脑似乎综合利用了这两种的并行性，这一特征可能是其适应能力的基本要素——互动的并行性提供了在需要处理影响的领域中的泛化和推理能力，而独立并行提供了处理多任务的能力。

2. 两种并行能力之间

存在由于网络拓扑带来的取舍

该研究的贡献，在于指出共享表征所带来的好处（即处理的灵活性），于多任务间的切换，存在固有的张力，无法鱼与熊掌兼得。该研究采用了神经网络训练和理论推导两种方法，共同得出随着共享表征的增加，执行并行多任务的神经网络会呈现亚线性性能降低。

一个神经网络被训练执行一组任务，其中每个任务都要求网络将一组特征从输入层通过隐藏层映射到特定的输出图层神经元上，任务间的映射相似性由右图的相似矩阵表示，映射相似的那一组，能够有更好的独立并行性。

这意味着正是由于人脑中这种通过分享任务之间的表征来支持交互式并行性（例如学习和/或泛化）的网络结构，会导致人脑在独立性并行上表现不佳。如何在两种并行性之间取舍，对于一个像人类大脑一样庞大复杂的系统，显而易见应该选择交互式并行。

图中的每一行对应于训练好的网络在多任务时的预测精度（性能），而每一行的颜色表示其交互式并行性能的不同。可以看到随着交互式并行能力的提升，独立并行能力显著降低

该研究的另一个发现是，在任务所用到的表征之间增加异质性，能够缓解由于共享表征而对独立并行能力造成的限制，从而提升网络在并行任务时的性能。而随着中间表征层的增加，不同任务间的相互交互会增多。类似循环神经网络中，层数的增加会使得网络能够执行更抽象的任务。

该研究为定量化的研究人脑的多任务能力，提供了基础。结合神经影像，可以评估个人的多任务潜力，即能够同时执行任务的组合。例如对于飞行员来说，同时看多个仪表盘是很关键的，目前还没有系统的方法，可靠而详尽地评估哪些或多少，飞行员一次能完成的任务的组合。而该文的框架，可以提供一个实用的手段来进行上述评估，从而改善技能评估和训练。

对于机器学习领域，元学习（meta learning）的目标可理解为在两种并行性之间找到取舍，使得网络即能够尽快学到新的任务，也能够。该研究提供的框架，可以形式化的对元学习的架构进行分析。该框架同样适合对于感兴趣人类是如何在两者并行性取舍的心理学者和神经科学家。

从更一般性视角来看，该研究也可能帮助阐明信息处理系统系统是如何平衡学习效率（通过共享表征带来的泛化能力，及串行处理为代价的交互式并行），与独立并行所提供的在特定任务上处理效率的。而这对所有层次的信息处理机制都适用，因此该研究谈到的权衡，也可能会适用于组织及企业的管理中的信息处理。

网络科学新课推荐：网络动力学

集智学园特邀陈关荣、项林英、樊瑛、宣琦、李翔、史定华、李聪、荣智海、周进、王琳等网络科学专家作为导师，依托汪小帆、李翔、陈关荣的经典教材《网络科学导论》，自2月27日起开展系列上线课程，以网络动力学为主线构建网络科学知识体系。欢迎希望进入网络科学领域、提高网络分析能力、与一线专家探讨问题的朋友报名参加！