Neo4j如何使用Data Fabric技术编织万亿图数据

马超的博客

发布于 2022-09-02 10:32:32

1.1K0

发布于 2022-09-02 10:32:32

文章被收录于专栏：马超的博客马超的博客

@[TOC]Here's the table of contents:

• 一、数据编织（Data Fabric）
• 二、Neo4j Fabric简介
• 三、Fabric数据建模
- • 3.1 数据建模
- • 3.2 数据联邦
- • 3.3 数据分片
• 四、使用 Fabric Cypher 查询数据
- • 4.1 跨数据分片查询
- • 4.2 数据联邦和数据分片同时并行查询
• 五、总结 Neo4j如何使用Data Fabric技术编织万亿图数据

一、数据编织（Data Fabric）

为了解决超级大图数据存储的问题，我们必须寻找一个分布式的解决方案。图数据库领域最流行的是基于点分割和边分割的分布式存储方案，例如Nebula Graph、HugeGraph等图数据库，采用点分割的图数据库一般较容易带来数据一致性的问题，所以边分割方案使用的更多。
采用传统的分布式存储技术可以实现在多台服务器上存储超大规模的图数据，但是随之而来的是GQL运行时带来的大量网络通信对于性能的消耗，而且大部分这种方案的图数据库不支持ACID事务（但这对于不需要事务特性的场景可以忽略，例如Elasticsearch的使用，需要说明的是ES在同一索引存储超大量数据也会带来性能问题，于是索引就有为什么会推荐每个分片数据最好在30~50G之间）。
在区块链领域Fabric是超级账本联盟推出的核心区块链框架，它适合在复杂的企业内和企业间搭建联盟链。根据超级账本联盟的目标， Fabric被建设为一个模块化的、支持可插拔组件的基础联盟链框架。
世界领先的图数据库Neo4j[1]支持存储超大规模图数据，为了实现这一操作，Neo4j从4.0开始引入了数据编织理念（Data Fabric[2]）。该Fabric架构支持存储超大规模的图数据的同时不带来查询性能的急剧下降。这确实是一个非常特别的架构！

二、Neo4j Fabric简介

• Neo4j Fabric是什么？ Fabric是在Neo4j 4.0版本中引入的一种在多个数据库存储和检索数据的方法。无论这些数据库是在同一个Neo4j数据库管理系统上还是在多个数据库管理系统中，均使用单个Cypher进行查询。Fabric实现的主要目标：
1. 1. 本地和分布式数据的统一视图，可通过单个客户端连接和用户会话访问
2. 2. 提高了读/写操作、数据量和并发性的可扩展性
3. 3. 预估在正常操作、故障转移或其他基础架构更改期间执行查询的响应时间
4. 4. 高可用性，大数据量无单点故障

实际上，Fabric为以下各项提供了基础功能和工具：

1. 数据联合（datafederation）：以不连接的图的形式，获取分布式数据源的可用数据的能力。
2. 数据分片（datasharding）：以分割在多个数据库中公共图的形式，获取分布式数据源的可用数据的能力。

使用Fabric时，Cypher查询可以在多个联合图和分片图中存储和检索数据。

• Neo4j Fabric到底是不是分布式技术？为了弄明白这个问题，我们先来看一下分布式的定义：

百科说明

通过阅读分布式的百科定义，我们可以确信这是一种分布式技术！:)

• Neo4j Fabric是如何部署的？ Neo4j通过Fabric节点来关联其它数据库节点，该节点不存储任何数据，部署拓扑图如下（无单点故障的Fabric部署架构，将绿色节点看作Fabric Virtual Database）：

在这里插入图片描述

关于更多Neo4j Fabric部署[3]相关信息可以参考官网的说明。

三、Fabric数据建模

我们以公司的销售数据为例进行Fabric数据建模，数据包括客户、产品、产品分类、客户订单、供应商等信息。

3.1 数据建模

• 在同一Neo4j集群或者Neo4j单节点部署下，数据建模：节点标签：Product、:Category、:Supplier、:Order、:Customer；关系类型：SUPPLIES、:PART_OF、:ORDERS、:PURCHASED

在这里插入图片描述

在同一Neo4j集群或者Neo4j单节点部署下，数据建模与一般图数据建模过程没有区别。

• 在多个Neo4j集群或者多个Neo4j单节点部署下，Fabric数据建模：在这个模式下，我们假定需要将产品分类和客户订单数据分区存储（存放在不同的Neo4j集群），而且客户数据需要两个分区（例如客户数据分别存储在上海、北京的Neo4j数据库）。我们来看一下将数据模型解构后的样子：

在这里插入图片描述 3.2 数据联邦 2.1说明了Fabric数据建模的样例，在这个样例中产品和客户数据位于两个不相交的图中，具有不同的标签和关系类型。要对这两个图进行查询我们必须进行数据联邦。为了保证数据可以联邦，这里我们对产品节点设计一个产品ID的字段，在查询时保证不同图中具有相同的ID即可。

在这里插入图片描述

3.3 数据分片

刚才的建模中，我们假定用户信息被存储在两个地理区域不同的Neo4j集群，它们也是不相交的，但是数据模型完全一致。这样的建模我们称之为数据分片。

在这里插入图片描述

四、使用 Fabric Cypher 查询数据

由于这篇文章的目的是重点解释Neo4j Fabric技术实现思路，因此跳过了一些数据导入、数据库配置的细节信息，有兴趣的小伙伴可以去官网复现文中提到的案例。 Set up and use Fabric[4]

4.1 跨数据分片查询

查询表示从编号为1和2的两个Neo4j集群中同时查询客户信息，并返回前五个客户的信息。

// 跨分片查询
UNWIND [1,2]AS gid
CALL {
    USE fabricnw.graph(gid)
    MATCH (c:Customer)
    WHERE c.customerID STARTS WITH 'A'
    RETURN c.customerID AS name, c.country AS country
}
RETURN name, country
LIMIT 5;

4.2 数据联邦和数据分片同时并行查询

查询使用所有 3 个Neo4j集群来查找购买了禽肉类产品的所有客户。首先，fabricnw调用数据库db0(fabricnw.product)来检索禽肉类别中的所有产品，并返回产品ID。然后并行查询db1和db2，获取购买了这些产品的客户及所属国家信息。

// 获取产品ID
CALL {
USE fabricnw.product
MATCH (p:Product{discontinued:true})-[:PART_OF]->(c:Category{categoryName:'Meat/Poultry'})
              RETURN COLLECT(p.productID) AS pids
}
// 拿到DB1和DB2编号，不包括DB0
WITH *, [g IN fabricnw.graphIds() WHERE g<>0] AS gids
UNWIND gids AS gid
// 并行查询DB1和DB2，DB1和DB2为数据分片关系
CALL {
    USE fabricnw.graph(gid)
    WITH pids
    UNWIND pids as pid
    MATCH (p:Product{productID:pid})<-[:ORDERS]-(:Order)<-[:PURCHASED]-(c:Customer)
    RETURN DISTINCT c.customerID AS customer, c.country AS country
}
RETURN customer, country
LIMIT 20;

五、总结

Neo4j Fabric技术虽然支持大规模数据存储的同时保证性能不会急剧下降，但是数据建模、数据生产变得更加复杂了。不过总体来说，数据建模和数据生产的复杂性是可以接受的。通过上面的介绍我们已经明白了，在一个Fabric集群中如何进行数据联邦和数据分片。相对应的，为了让Neo4j的其它版本或者分支版本（ONgDB）支持类似Fabric的查询，我们可以自定义组件的方式支持（有实力购买企业版的可以忽略）。

引用链接

[1] Neo4j: https://neo4j.com/ [2] Data Fabric: https://www.toolbox.com/tech/big-data/articles/what-is-data-fabric/ [3] Neo4j Fabric部署: https://neo4j.com/docs/operations-manual/current/fabric/introduction/ [4] Set up and use Fabric: https://neo4j.com/docs/operations-manual/current/tutorial/fabric-tutorial/#tutorial-fabric-get-results

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2022-05-07，如有侵权请联系 cloudcommunity@tencent.com 删除

分布式