专栏首页奇点云数据中台技术汇(二)| DataSimba系列之数据采集平台
原创

数据中台技术汇(二)| DataSimba系列之数据采集平台

继上期数据中台技术汇栏目发布DataSimba——企业级一站式大数据智能服务平台,本期介绍DataSimba的数据采集平台。

DataSimba采集平台属于DataSimba的数据计算及服务平台的一部分, 负责数据的导入, 从而支持上层的数据处理。 DataSimba的定位是面向企业私有化部署,决定了采集平台面临要解决的问题和传统的互联网公司不太一样:

1、企业使用的数据库类型多且杂, 包括很多非主流的数据库;

2、企业的数据管理水平参差不齐, 依赖数据规范(如:维护列modify_time判断记录是否修改)的导入方式推行困难;

3、需要支持的场景比较复杂, 包括:流处理、增量处理、批处理;

4、企业的数据平台规模一般较小,资源有限, 需要更好的平衡计算成本与效率。

采集平台总体架构

整个采集平台核心为DataX与DataS两个采集组件:

DataX:

·阿里开源的数据集成组件,通过jdbc,以查询的方式支持通用的关系行数据库导入;

·DataSimba 同时支持向导模式和脚本模式。

·可扩展支持NoSQL、FTP等。

DataS:

奇点云针对复杂的企业数据环境开发的, 基于数据库日志(类似binlog)同步数据的工具, 主要特征如下:

·配置简单: 整库导入配置只需要一分钟, 支持实时抽取、增量落盘、全量合并;

·基于数据库Log采集, 以减少对企业现有系统的侵入。 目前支持Mysql, Sqlserver, Oracle, Postgres, MongoDB;

·支持多种业务场景, 包括:实时计算, 增量计算(10m~1h), 全量批处理(>1h);

·高效的数据合并性能, 节省计算资源;

·schema自动同步;

DataX vs DataS:

·DataX通过查询(即Select)方式, 而DataS通过解析数据库日志;

·DataX 支持数据源更广, DataS支持数据源较少(见下表);

·DataX 对数据源压力较大, 而DataS对数据源压力较小;

·DataX 需要数据源有较大的空闲时间窗口, 用于抽取数据。 而DataS不需要;

·DataX 需要维护类似modify_time字段做增量抽取, 而DataS不需要;

·DataX 无法跟踪记录变更过程, DataS可以跟踪;

·DataX 不支持实时数据采集, DataS支持秒级的数据采集;

DataSimba在采集数据时优先使用DataS的方式。

为什么要做DataS

早期的Simba使用DataX导入数据, 在企业部署过程中遇到很多问题, 如:

·某快消企业, 数据库本身的压力就比较大, 且没有大段的空闲窗口用于数据采集, 采用DataX抽取难度较大。

·某企业, 数据库每日增量较少(~10GB), 但全量数据较大(>20T), 导致增量与全量合并的效率较低, 消耗资源比较多。

·某金融企业, 需要在数仓中跟踪账户余额的每一次变动, 又要不侵入现有的业务, 采用DataX的方式无法做到。

·某企业大屏, 需按小时刷新, 统计数据量较大, 采用流式计算成本较高, 实现比较复杂。 采用DataX又无法做到小时以内的采集频率。

以上只是在simba部署过程中碰到的一部分内容。 为了解决碰到的种种问题, 我们最终决定开发一套新的采集工具: DataS。

DataS 技术方案

DataS 的目标是: 配置维护简单, 支持多种数据源, 支持多种应用场景, 尽可能高效。

与cannal/maxwell等binlog采集工具相比, DataS支持更多的数据库类型:

实时采集数据流程

实时采集的主要流程如下:

1、 数据源端创建访问账号, 设置权限和日志配置项

2、 simba平台上配置数据源

3、 simba平台上创建导入任务, 选择导入的库和表, 确定是否合并

4、 发布导入任务

5、 DSExtracter从数据库源拉取全量快照, 作为初始化导入数据

6、 DSExtracter实时解析数据库日志, 以增量的方式解析新增数据到kafka

7、 DSLoader 按照设定的周期(通常是10分钟)将新增数据落盘到增量数据层(INC)

8、 DSMerger 定期(通常是30分钟)将新增数据与全量数据合并到ODS

9、 后续的计算以增量或者全量的方式从ODS层消费数据

技术亮点

一、高效的合并方案

DataS同时保留了增量的日志数据和全量的快照数据, 以支持复杂的企业业务场景。 同时DataS提供了高效的快照合并方案。 以下是DataS合并与基于HBase方案合并的性能比较测试。对于1T以上的数据表增量和全量merge时, DataS有12 ~24 倍的性能提升。

与传统的利用HiveSQL 或者HBase 做merge的方式不同, DataS采用了二级映射的方式, 使最终的合并转化为一个RDD或者一个Map中就可完成的小文件合并, 并避免了不需要合并的文件读取, 如图所示:

DataS合并逻辑如下:

1、 DataS会将新增数据划分到不同的hive分区中, 分区可以根据业务自定义;

2、 在一个分区内, DataS利用布隆过滤(Bloom Filter)将数据映射到不同的文件;

3、 新增数据和单一存储文件做局部合并;

将整个合并最终划分为小文件的合并, 从而大幅提高了合并的效率。

二. 近实时的数据时延

DataS提供两种合并方式: 写时拷贝(CopyOnWrite)和 读时合并(MergeOnRead)

写时拷贝是指每次增量数据与文件合并时, 都是拷贝两边的数据生成新的全量数据文件。 此种方式合并时性能稍差, 但读数据(统计查询)时性能好一些, 过程如下:

读时合并是指合并时只将增量数据写入日志文件, 读时(查询统计)再合并重复数据。 同时会定期全量合并。 此种方式的合并效率很高, 数据时延可以达到秒级~分钟级, 但查询时性能稍差, 如图所示:

两种方式使用与不同的业务场景: 注重读性能或者注重合并性能。

Datas支持丰富的场景应用

按照数据要求的时延和数据要求的完整性, 计算场景大致可分为三类:

其中:

·实时计算: 很多数据时延要求在 毫秒级 ~ 10分钟的场景, 通常采用flink或者spark等计算引擎。 如:监控告警、实时特征等等。

·增量计算:时延要求在10分钟~小时级别, 数据要求增量处理的场景。 如企业大屏、活动效果分析、当日uv等统计数据展示。

·全量批处理: 主要针对各种T+1的报表统计, Simba目前采用Hive引擎。

目前市场上对于实时计算和全量批处理都有成熟的方案, 但对于夹缝中的增量计算支持的都不太好。增量计算无论是采用流式实时处理, 还是采用全量批处理, 都比较浪费资源, 且效果不理想。 DataS可以支持增量的采集、合并、计算, 以较低的计算成本支持了此类场景。 此外, DataS能很好的支持秒级以上的实时计算和批处理任务。

附-DataSimba数据采集支持的多种数据源

DataSimba的采集平台支持丰富的数据源, 包括:

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数痴才言:数据中台从何而来

    DT时代,大数据成为人们谈论的焦点,2019年更被誉为数据中台元年。人人都在谈数据中台,却不是所有人都清楚,从历史逻辑来看,中台或者数据中台从何而来?

    奇点云
  • Startdt AI提出:使用生成对抗网络用于One-Stage目标检测的知识蒸馏方法

    人工智能正在驱动新一轮的商业变革,而算法技术则是推动核心底层技术的重要力量。算法崛起时代,技术浪潮可谓一日千里,算法工程师也只有不断精进自身技术,才能与时俱进、...

    奇点云
  • 数据驱动型文化是大数据成功的关键

    大数据文摘
  • 大数据与中国的战略选择

    人类社会的每一次进步,都是由新技术引发新一轮产业革命、进而引发政府管理和社会治理模式的重大变革而推动的。科技革命不断推动着产业的发展,只有那些抓住技术革命的战略...

    企鹅号小编
  • 大数据测试——完整的软件测试初学者指南

    大数据测试,在当前的测试领域是一个相对比较新的领域,而且难度也非常大。大数据测试从某种意义来说和人工智能测试有点类似,测试数据的量比较大,而test oracl...

    Criss@陈磊
  • 销售商与使用者:谁是大数据真赢家?

    大数据一词最近几年热度不减,越来越多人谈论它,越来越多的公司开始在其中进行投资。   职业社交网站LinkedIn最近发布的一份针对其3.3亿用户档案分...

    腾讯研究院
  • 独家|一文解读合成数据在机器学习技术下的表现

    本文将通过介绍两个分布模型,并运用它们到合成数据过程中,来分析合成数据在不同机器学习技术下的表现。

    数据派THU
  • 如何填报大数据相关专业? | Alfred数据室

    高考出分了,又是一年一度各位考生和家长手忙脚乱开始填报志愿的时候了。很多考生和家长纷纷咨询Alfred:大数据现在不是很火吗?大数据专业怎么样呀?应该填选择哪个...

    Alfred数据室
  • 3大技能助你成为超级数据科学家!(附链接)

    令人惊讶的是,我得到了许多来自不同行业的顶级数据科学家的回应,他们都分享了他们的想法和建议,都很有意思且实用。

    大数据文摘
  • java程序员5个月业余时间学习大数据路径

    我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软...

    用户2292346

扫码关注云+社区

领取腾讯云代金券