首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    综述 | 分布式GNN训练算法和系统,35页pdf

    图神经网络(GNNs)是一种基于图的深度学习模型,已成功应用于许多领域。尽管GNN具有一定的有效性,但GNN要有效地扩展到大型图仍然是一个挑战。作为一种补救措施,分布式计算能够提供丰富的计算资源,成为训练大规模GNN的一种很有前途的解决方案。然而,图结构的依赖性增加了实现高效分布式GNN训练的难度,这将受到海量通信和工作量不平衡的影响。近年来,人们在分布式GNN训练方面做了很多工作,提出了一系列的训练算法和系统。然而,从图处理到分布式执行的优化技术还缺乏系统的综述。本文分析了分布式GNN训练中的三个主要挑战,即大量特征通信、模型精度损失和工作负载不平衡。然后,我们介绍了分布式GNN训练优化技术的一种新的分类法,以解决上述挑战。新的分类法将现有技术分为四类:GNN数据分区、GNN批处理生成、GNN执行模型和GNN通信协议。我们仔细讨论了每个类别中的技术。最后,我们分别总结了现有的多GPU、GPU集群和CPU集群分布式GNN系统,并对可扩展GNN的未来发展方向进行了讨论。

    02

    Google Earth Engine(GEE)——Köppen-Geiger 气候地图1986-2010 年期间分辨率为 5 弧分

    柯本气候分类法是根据气候和植被之间的经验关系而制定的。这种类型的气候分类方案提供了一种有效的方法来描述由多个变量及其季节性定义的气候条件,用一个单一的指标来衡量。与单一变量的方法相比,柯本分类法可以为气候变化的描述增加一个新的维度。此外,人们普遍认为,用柯本分类法确定的气候组合在生态上是相关的。因此,该分类已被广泛用于绘制长期平均气候和相关生态系统条件的地理分布图。近年来,人们对使用该分类法来确定气候的变化和植被随时间变化的可能性也越来越感兴趣。这些成功的应用表明,将柯本分类法作为一种诊断工具来监测不同时间尺度上的气候条件变化是有潜力的。 这项工作利用全球温度和降水观测数据集,揭示了1901-2010年期间的气候变化和变化,证明了柯本分类法不仅能描述气候变化,而且能描述各种时间尺度的气候变异性。结论是,1901-2010年最重要的变化是干燥气候(B)的面积明显增加,同时自1980年代以来极地气候(E)的面积明显减少。还确定了年际和年代际变化的空间稳定气候区域,这具有实际和理论意义

    01

    文本分类算法研究与实现

    近年来,随着Internet的迅猛发展,网络信息和数据信息不断扩展,如何有效利用这一丰富的数据信息,己成为广大信息技术工作者所关注的焦点之一。为了快速、准确的从大量的数据信息中找出用户所需要的信息,文本信息的自动分析也成为了当前的迫切需求。对文本信息的分析中的一个主要技术就是文本分类。文本分类问题是自然语言处理的一个基本问题,很多相关的研究都可以归结为分类问题。文本分类是指将文本按一定的规则归于一个或多个类别中的技术。近年来,许多统计的方法和机器学习的方法都应用到文本分类方面,如朴素贝叶斯方法(NB)、K-近邻方法(KNN)、支持向量机方法(SVM)等。

    00

    SAP库存管理之ABC分类法

    ABC分类法(Activity Based Classification)    ABC分类法又称帕累托分析法或巴雷托分析法、柏拉图分析、主次因分析法 、ABC分析法、分类管理法、重点管理法、ABC管理法、abc管理、巴雷特分析法,平常我们也称之为“80对20”规则。它是根据事物在技术或经济方面的主要特征,进行分类排队,分清重点和一般,从而有区别地确定管理方式的一种分析方法。由于它把被分析的对象分成A、B、C三类,所以又称为ABC分析法。   ABC分类法是由意大利经济学家维尔弗雷多·帕累托首创的。1879年,帕累托在研究个人收入的分布状态时,发现少数人的收入占全部人收入的大部分,而多数人的收入却只占一小部分,他将这一关系用图表示出来,就是著名的帕累托图。该分析方法的核心思想是在决定一个事物的众多因素中分清主次,识别出少数的但对事物起决定作用的关键因素和多数的但对事物影响较少的次要因素。后来,帕累托法被不断应用于管理的各个方面。1951年,管理学家戴克(H.F.Dickie)将其应用于库存管理,命名为ABC法。1951年~1956年,约瑟夫·朱兰将ABC法引入质量管理,用于质量问题的分析,被称为排列图。1963年,彼得·德鲁克( P.F.Drucker)将这一方法推广到全部社会现象,使ABC法成为企业提高效益的普遍应用的管理方法。   此规则通过对同一类问题或项目进行排序,来认明其中少数争议较大的。帕雷托通过长期的观察发现:美国80%的人只掌握了20%的财产,而另外20%的人却掌握了全国80%的财产,而且很多事情都符合该规律。于是他应用此规律到生产上。他的主要观点是:通过合理分配时间和力量到A类-总数中的少数部分,你将会得到更好的结果。当然忽视B类和C类也是危险的,在帕雷托规则中,它们得到与A类相对少得多的注意。

    01

    懒人有福:Maryland大学欲开发能跟视频学做饭的机器人

    懒得做饭的上班族和暗黑料理的大宗师们,还在为做饭发愁吗?Maryland大学正在研发的一款机器人,在看完YouTube上的烹饪视频后,就能把饭菜做出来。 如果要我给“想要机器人替我做的那些事”划分一下层级的话,那么做晚饭的级别还应该在洗衣服、代驾汽车和代写所有文稿之上。就我们现有的机器人而言,可以做到的最好的程度,也只不过是依照预设的步骤把任务勉强完成而已。我们已经见识过了很多款会做饭的机器人,但总的来说,它们都只是遵循提前编程好的命令进行操作而已。告诉机器人要做什么以及怎么去做,是机器人技术中最棘手的环

    04

    【综述专栏】北科大最新《分布变化下的图学习》综述,详述领域适应、非分布和持续学习进展

    图学习在各种应用场景中发挥着关键作用,并且由于其在建模由图结构数据表示的复杂数据关系方面的有效性,已经获得了显著的关注,这些应用场景包括社交网络分析到推荐系统。实际上,现实世界中的图数据通常随着时间展现出动态性,节点属性和边结构的变化导致了严重的图数据分布偏移问题。这个问题由分布偏移的多样性和复杂性加剧,这些偏移可以显著影响图学习方法在降低的泛化和适应能力方面的性能,提出了一个对其有效性构成实质挑战的重大问题。在这篇综述中,我们提供了一个全面的回顾和总结,涵盖了解决图学习背景下分布偏移问题的最新方法、策略和见解。具体而言,根据在推断阶段分布的可观测性和在训练阶段充分监督信息的可用性,我们将现有的图学习方法分类为几个基本场景,包括图域适应学习、图离群分布学习和图持续学习。对于每个场景,都提出了详细的分类法,包括对存在的分布偏移图学习进展的具体描述和讨论。此外,我们还讨论了在分布偏移下图学习的潜在应用和未来方向,通过系统分析这一领域的当前状态。这篇综述旨在为处理图分布偏移的有效图学习算法的开发提供一般指导,并激发在这一领域的未来研究和进展。

    01

    论文综述 | GNN+CV的近期进展~

    图神经网络(GNNs)在图表示学习方面获得了动力,并在中提高了艺术水平。各种领域,例如数据挖掘(例如,社交网络分析和推荐系统),计算机视觉(例如,对象检测和点云学习),自然语言处理(例如,关系提取和序列学习),仅举几例。随着Transformer在自然语言处理和计算机视觉中的出现,图Transformer在Transformer架构中嵌入了一个图结构,以克服局部邻域聚集的限制,同时避免严格的结构归纳偏差。在本文中,我们从面向任务的角度全面回顾了计算机视觉中的gnn和图Transformer。具体来说,我们将其在计算机视觉中的应用根据输入数据的模态分为五类,即2D自然图像、视频、3D数据、视觉+语言和医学图像。在每个类别中,我们根据一组视觉任务进一步划分应用程序。这种面向任务的分类法允许我们检查不同的基于gnn的方法是如何处理每个任务的,以及这些方法的性能如何。在必要的初步工作的基础上,我们提供了任务的定义和挑战,对代表性方法的深入报道,以及关于见解、局限性和未来方向的讨论。

    02
    领券