首页
学习
活动
专区
圈层
工具
发布

得物推荐引擎 - DGraph

我们于 2022 年下半年启动了 DGraph 的研发,DGraph 是一个 C++项目,目标是打造一个高效易用的推荐引擎。推荐场景的特点是表多、数据更新频繁、单次查询会涉及多张表。...为什么叫 DGraph?因为推荐场景主要是用 x2i(KVV)表推荐为主,而 x2i 数据是图(Graph)的边,所以我们给得物的推荐引擎取名 DGraph。...DGraph 数据的管理都是按表(table)进行的(图 2),复杂的索引会使用到 DGraph 的内存分配器 D-Allocator,比如 KVV/KV 的增量部分 & 倒排索引 & 向量索引等。...在 DGraph 所有数据更新都是 DUMP(耗时)->索引构建(耗时)->引擎更新(图 3),索引平台会根据 DGraph 引擎的内存情况自动选择在线更新还是分批重启更新。...DGraph 选择的是单写多读+延迟释放类型的无锁机制。

90920
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    开源图数据库 Dgraph 完成 300 万融资

    凭借早期在基础设施软件和开源软件方面的经验,Salil 将加入 Dgraph 董事会。Jain 表示,这一轮融资正好是我们扩大云服务的时机,并继续建立世界上最先进的图数据库。...Dgraph 是一个可扩展的,分布式的,低延迟的图数据库,于 2015 年开源,最初是出于希望消除传统关系型数据库的典型弱点而创建的。...为了解决组织在数据库增长超过单个服务器时面临的一些问题,Dgraph 以更有效的方式分割数据,这使查询可以在没有通用视图的情况下执行。...此外,Dgraph 更有效地处理复制,从而使可扩展性成为可操作的功能。 据悉,Dgraph 的下一步计划是提供托管管理服务,并对其用户界面进行重大改进。...此外,它还将在其语言列表中添加流行的图形语言 Open Cypher 和 Gremlin ,以方便用户切换到 Dgraph 。

    79360

    得物自研DGraph4.0推荐核心引擎升级之路

    系统改进点是在DGraph中增加了访问了其他DGraph集群 & FeatureStore特征集群的能力(图1)。...目前推荐业务的核心场景都进行了图化改造,图化查询是把多路召回、打散、融合、粗排等策略打包到一个DAG图中一次发送到DGraph,DGraph的算子调度模块根据DAG的描述查询索引数据 & 执行算子最终把结果返回给业务系统...因此需要DGraph中引入数据水平拆分的能力。...三、性能优化3.1 算子执行框架优化在DGraph中,基于DGraph DAG图(参考图9)的一次查询就是图查询,内部简称graphSearch。...3.2 传输协议编码解码优化优化JavaSDK - DGraph数据传输过程:在DGraph部分场景,由于请求引擎返回的数据量很大,解码编码耗时占整个请求20%以上。

    59910

    前沿观察 | 图数据库项目DGraph的前世今生

    在Google内部,Dgraph Labs这家公司和开源项目Dgraph,就是这样被命名的。 对于本博文的大部分内容,当我提到Dgraph时,我指的是Google内部的项目,而不是我们构建的开源项目。...进入Dgraph:任意深度连接引擎 在结束Cerebro之后,我有了构建图形服务系统的经验,参与了Dgraph项目,并成为该项目的三位技术主管之一。...分片技术并不是Dgraph的唯一创新。Dgraph为所有对象分配了整数ID,并对其进行排序并存储在发布列表结构中,以便快速对这些发布列表求进行交叉计算。...通过Plasma项目统一所有OneBox 谷歌的Dgraph不是一个数据库,而是一个服务系统,相当于谷歌的网络搜索服务系统。使用Dgraph还可以对实时更新做出反应。...Dgraph:凤凰磐涅 离开谷歌两年后,我决定建立Dgraph。不在Google的日子里,我见证了很多与在内部研发图数据系统时的犹豫不决。

    86330

    前沿观察 | 图数据库项目DGraph的前世今生

    在Google内部,Dgraph Labs这家公司和开源项目Dgraph,就是这样被命名的。 对于本博文的大部分内容,当我提到Dgraph时,我指的是Google内部的项目,而不是我们构建的开源项目。...进入Dgraph:任意深度连接引擎 在结束Cerebro之后,我有了构建图形服务系统的经验,参与了Dgraph项目,并成为该项目的三位技术主管之一。...分片技术并不是Dgraph的唯一创新。Dgraph为所有对象分配了整数ID,并对其进行排序并存储在发布列表结构中,以便快速对这些发布列表求进行交叉计算。...通过Plasma项目统一所有OneBox 谷歌的Dgraph不是一个数据库,而是一个服务系统,相当于谷歌的网络搜索服务系统。使用Dgraph还可以对实时更新做出反应。...Dgraph:凤凰磐涅 离开谷歌两年后,我决定建立Dgraph。不在Google的日子里,我见证了很多与在内部研发图数据系统时的犹豫不决。

    7.5K10

    图数据库 Nebula Graph 在 Boss 直聘的应用

    针对这个场景,前期我们主要使用 Dgraph,踩过很多坑并和 Dgraph 团队连线会议,在使用 Dgraph 半年后最终还是选择了更贴合我们需求的 Nebula Graph。...具体的对比 Benchmark 已经有很多团队在论坛分享了,这里就不再赘述,主要分享一些技术指标和选型,以及很多小伙伴感兴趣的 Dgraph 对比使用经验。...使用对比 目前来说原生分布式图数据库国内选型主要比对 Dgraph和 Nebula Graph,前者我们使用半年,整体使用对比如下,这些都是我们踩过坑的地方。...实测 Dgraph 在线写入并发不高或只是离线导入数据使用的情况下还是很稳定的,如果想借助它的高可用和事务功能,可以尝试下。...Dgraph 遇到的一些问题,供有需要小伙伴参考 给 Dgraph 一些 issues 给 Dgraph 提交的 PRs 参考文章 360 的 JanusGraph 到 Nebula Graph 数据迁移

    1.4K10

    图数据库与关系型数据库:优缺点和用例

    Relational Databases: Pros, Cons, and Use Cases - Dgraph Blog,作者 Dgraph Labs; Inc。...要了解更多见解,请查看此关于 Dgraph 性能的案例研究。 可变模式 图数据库允许不断变化的模式,这在处理动态数据模型时特别有用。...了解更多关于使用 Dgraph 简化遗留数据。 为特定用例提供高性能 图数据库为基于图的查询提供快速查询性能。...了解FactSet 如何使用 Dgraph来为世界上最大的金融数据库之一提供支持。 但是,那些久经考验的关系数据库呢?让我们看看它们能带来什么。...了解更多关于低代码开发注意事项以及 Dgraph 如何支持动态数据。 关系数据库适用于具有预定义模式的结构化数据 关系数据库是结构化数据的首选,这些数据具有定义明确的模式。

    79210
    领券