开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >Galaxy比数平台功能介绍及实现原理｜得物技术

Galaxy比数平台功能介绍及实现原理｜得物技术

作者头像

得物技术

发布于 2026-01-20 14:14:44

发布于 2026-01-20 14:14:44

160

举报

概述

得物经过10年发展，计算任务已超10万+，数据已经超200+PB，为了降低成本，计算引擎和存储资源需要从云平台迁移到得物自建平台，计算引擎从云平台Spark迁移到自建Apache Spark集群、存储从ODPS迁移到OSS。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

评论

登录后参与评论

0 条评论

热度

最新

目录

一、背景

二、数据比对关键挑战与目标
- 关键挑战一：如何更快地完成全文数据比对
- 关键挑战二：如何精准定位异常数据
- 比数核心目标

三、解决方案实现原理
- 快速完成全文数据比对方法
- 精准定位异常数据实现方法

四、比数平台功能介绍
- 数据比对基本流程
- 任务生成：三种比对模式
- 前置校验：提前发现问题
- 破解比数瓶颈：资源分配与任务调度优化

五、比数平台收益分享

六、未来演进方向

七、结语
- 往期回顾
- 文 /Galaxy平台