专栏首页arxiv.org翻译专栏HUGE:高效且可扩展的子图枚举系统(CS DB)

HUGE:高效且可扩展的子图枚举系统(CS DB)

子图枚举是图分析中的一个基本问题,其目的是在大型数据图上查找给定查询图的所有实例。 在本文中,我们提出了一个称为HUGE的系统,可以在分布式上下文中按比例有效地处理子图枚举。 HUGE的特点:1)在没有现有工作约束的情况下计算高级执行计划的优化器; 2)同时支持推式和拉式通信的混合通信层; 3)具有无锁和零拷贝缓存设计的新颖的两阶段执行模式; 4)绑定BFS / DFS的内存消耗调度程序; 5)机器内和机器间两层负载平衡。 HUGE是通用的,因此可以插入所有现有的分布式子图枚举算法,以享受自动加速和有界内存执行的功能。

原文题目:HUGE: An Efficient and Scalable Subgraph Enumeration System

原文:Subgraph enumeration is a fundamental problem in graph analytics, which aims to find all instances of a given query graph on a large data graph. In this paper, we propose a system called HUGE to efficiently process subgraph enumeration at scale in the distributed context. HUGE features 1) an optimiser to compute an advanced execution plan without the constraints of existing works; 2) a hybrid communication layer that supports both pushing and pulling communication; 3) a novel two-stage execution mode with a lock-free and zero-copy cache design, 4) a BFS/DFS-adaptive scheduler to bound memory consumption, and 5) two-layer intra- and inter-machine load balancing. HUGE is generic such that all existing distributed subgraph enumeration algorithms can be plugged in to enjoy automatic speed up and bounded-memory execution.

原文链接:https://arxiv.org/abs/2103.14294

原文作者:Zhengyi Yang, Longbin Lai, Xuemin Lin, Kongzhang Hao, Wenjie Zhang

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Netty 高性能内存管理设计 (1)

    Netty 作为一款高性能的网络框架,需要处理海量的字节数据,而且 Netty 默认提供了池化对象的内存分配,使用完后归还到内存池,所以一套高性能的内存管理机制...

    MickyInvQ
  • 设计模式--策略模式的思考

    策略模式是一种简单的设计模式,但是其在业务开发中是一种非常有用的设计模式.举个例子,当你的业务需要针对不同的场景(可以简单理解为枚举类),执行不同的策略时那么使...

    屈定
  • 经典笔试题-Web篇

    122、说出Servlet 的生命周期,并说出Servlet 和CGI 的区别? 【基础】 答:Web 容器加载Servlet 并将其实例化后,Servlet...

    cwl_java
  • vim开发环境配置

    作为编辑器之神的vim,初安装时,就像十几岁的孩子,潜力无限但能力有限。所以当我们要充分开发它的潜能时,那么就不得不对vim进行扩展,也就是安装插件。(当然了,...

    编程珠玑
  • 【大话NoSQL】——什么是NoSQL?

    开始之前,先说说写这篇博文的背景,本来是想写MongoDB的内容,但是MongoDB又是非关系型数据库中最火的一个。我还是本着自己一直习惯的学习步骤,先有全局观...

    程序猿小亮
  • 为什么要选择Vim编辑器

    基本上来说,你应该尽可能少的呆在插入模式里面,因为在插入模式里面 VIM 就像一个“哑巴”编辑器一样。很多新手都会一直呆在插入模式里面,因为这样易于使用。但 ...

    独行猫A
  • 如何恢复被MaMoCrypt勒索软件加密的数据

    MaMoCrypt是一款臭名昭著的勒索软件,该勒索软件从去年的十二月份开始活跃,深受其害的用户可以算是不计其数了。那么在这篇文章中,我们将告诉大家如何恢复、解密...

    FB客服
  • Redis应用及安装

    Redis听到最多的一句话就是Redis的使用难吗?不难,Redis用好容易吗?不容易,有时候觉得这句话说的挺好,但又是让读者挺心里咯噔一下的,还不如不说! 概...

    牛嗷嗷
  • MongoDB 入门篇

      一般而言,数据缺乏组织及分类,无法明确的表达事物代表的意义,它可能是一堆的杂志、一大叠的报纸、数种的开会记录或是整本病人的病历纪录。数据描述事物的符号记录,...

    惨绿少年
  • 保护模式 3讲-段寄存器GDT表与个人代码总结

    以上就是对GDT表或者 LDT表的描述 总结来说 GDT或者LDT 就是一块内存. 也可以看成一个数组. 数组的每一项其实保存的都是段描述符 段选择子就是下...

    IBinary
  • 史上最全分布式数据库概述

    墨墨导读:在集中式数据库系统不能完全符合实际需要的形势下,集中式DB的“集中计算”概念向“分布计算”概念发展。分布计算主要体现在客户机/服务器模式的分布式数据库...

    数据和云
  • 去哪儿网支付系统架构演进(下篇)

    上篇给大家介绍了去哪儿支付系统架构演进的服务化拆分(点击阅读原文可查看上篇内容),接下来介绍一下在服务化拆分过程中遇到的一些问题与挑战,拆分过程中的DB处理、异...

    爱撸猫的杰
  • Java 枚举查找并不抛异常的实现

    Java Enum是一个非常有用的功能,但很多人通常并不能充分利用,这是因为一些库不会优先择用该功能。通常我们也可以正确使用Java枚举功能,但在许多代码库中往...

    哲洛不闹
  • DataWindow.Net组件示例(全部开源)

    1概述 1.1功能简介 Sybase公司的PowerBuilder开发工具,在以前VS工具没有成事以前,是相当风光的.微软都要与其合作,学习它Db方面的技术,才...

    用户1219352
  • mysql分布式数据库的逻辑库、物理库和分库分表和TDDL图文详解

    逻辑库/逻辑文件:给用户看的(即Database和Table就是我们常说的逻辑库的范畴) 物理库/物理文件:存储在计算机中的(即机器和Port就是我们常说的物...

    一个会写诗的程序员
  • huge page 能给MySQL 带来性能提升吗?

    最近一直在做性能压测相关的事情,有公众号的读者朋友咨询有赞的数据库服务器有没有开启huge page,我听说过huge page会对性能有所提升,本文就一探究竟...

    用户1278550
  • huge page 能给MySQL 带来性能提升吗?

    最近一直在做性能压测相关的事情,有公众号的读者朋友咨询有赞的数据库服务器有没有开启huge page,我听说过huge page会对性能有所提升,本文就一探究竟...

    田帅萌
  • 一站式解决使用枚举的各种痛点

    但是在业务代码中,我们不希望依赖 ordinary() 进行业务运算,而是自定义数字属性,避免枚举值的增减调序造成影响。

    Coder小黑
  • 腾讯云 Postgres-XZ 的数据治理策略

    2017第八届中国数据库技术大会于2017年5月11-13日召开,在5月11日的大会中,腾讯云数据库高级工程师,PostgreSQL数据库专家许中清做了腾讯云P...

    云资讯小编

扫码关注云+社区

领取腾讯云代金券