首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

GNN如何分布式?中科院综述《图神经网络分布式训练》

图神经网络(GNNs)在图学习方面的有效性已被证明是广泛应用领域的一种强大的算法模型。为了扩大GNN训练以适应大规模和不断增长的图,最有前途的解决方案是分布式训练,它将训练工作量分布到多个计算节点。然而,对分布式GNN训练的工作流程、计算模式、通信模式和优化技术仍有初步了解。在本文中,我们通过研究分布式GNN训练中使用的各种优化技术,提供了分布式GNN训练的全面综述。首先,根据分布式GNN训练的工作流程将其分为几类;此外,还介绍了它们的计算模式和通信模式,以及最新工作提出的优化技术。其次,介绍了分布式GNN训练的软件框架和硬件平台,以加深对分布式GNN训练的了解。第三,将分布式GNN训练与深度神经网络的分布式训练进行了比较,强调了分布式GNN训练的唯一性。最后,讨论了该领域的研究热点和发展机遇。

03

浅谈分布式系统的一致性协议(一)

我们在Mysql系列文章中已经介绍过,我们常用的InnoDB存储引擎是支持事务的。这里所说的事务由一系列对系统中数据进行访问与更新的操作所组成的一个程序执行逻辑单元。事务保证了这一组操作要么都成功,要么都失败;并且事务提交之后,数据不会丢失。总结下来就是原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability),即ACID四个特性。这种事务是针对单个数据库的,数据库底层只是在单个计算机内部通过一系列机制实现了ACID特性,不需要与其他外部数据源进行交互。从系统架构上划分,这属于集中式系统架构,这也符合早期做的传统软件项目的特点,没有负载均衡,都是单机运行,而数据库也是单台,只是做数据库备份,在主库宕掉时,切换到从库即可。

03

综述 | 分布式GNN训练算法和系统,35页pdf

图神经网络(GNNs)是一种基于图的深度学习模型,已成功应用于许多领域。尽管GNN具有一定的有效性,但GNN要有效地扩展到大型图仍然是一个挑战。作为一种补救措施,分布式计算能够提供丰富的计算资源,成为训练大规模GNN的一种很有前途的解决方案。然而,图结构的依赖性增加了实现高效分布式GNN训练的难度,这将受到海量通信和工作量不平衡的影响。近年来,人们在分布式GNN训练方面做了很多工作,提出了一系列的训练算法和系统。然而,从图处理到分布式执行的优化技术还缺乏系统的综述。本文分析了分布式GNN训练中的三个主要挑战,即大量特征通信、模型精度损失和工作负载不平衡。然后,我们介绍了分布式GNN训练优化技术的一种新的分类法,以解决上述挑战。新的分类法将现有技术分为四类:GNN数据分区、GNN批处理生成、GNN执行模型和GNN通信协议。我们仔细讨论了每个类别中的技术。最后,我们分别总结了现有的多GPU、GPU集群和CPU集群分布式GNN系统,并对可扩展GNN的未来发展方向进行了讨论。

02

分布式账本技术在支付、清算与结算领域的应用:特征、机遇与挑战

作者:美国联邦储备委员会 编译:巴洁如  腾讯研究院高级研究员   金融科技泛指金融领域的技术创新,近年来受到金融行业广泛关注。其中,分布式账本技术(DLT)被业界普遍认为能够改进支付、清算与结算流程,将对资金转移以及证券、商品和衍生品交易的清结算方式产生重要影响。美国的支付与清结算系统每天处理约6亿笔交易,金额超过12.6万亿美元,这些系统的安全、高效运行,对于维护金融市场平稳运行和金融稳定至关重要,也是美联储的核心监管目标。   考虑到分布式账本技术可能对支付清结算体系带来的变革性影响,美联储成立

06
领券