产品概述
数据接入平台(DataHub)是腾讯云上的数据接入和处理平台,一站式提供对数据的接入、处理和分发功能。Datahub 可以持续不断地接收和采集(APP、Web、云产品日志等)数据,实时处理,低成本搭建数据流转链路,构建数据源和数据处理系统间的桥梁。

产品优势
DataHub 具有高可用、实时性、高扩展性、高安全性等优势。
高可用
基于消息队列 CKafka 分布式的部署,稳定性有很好的保障。
实时性
数据采集实时高效,可以进行实时处理。
高扩展性
支持集群水平扩容,实例无缝升配,底层系统根据业务规模自动弹性伸缩,上层业务无感知。
高安全性
不同租户间网络隔离,实例的网络访问在账户间天然隔离。支持管理流的 CAM 鉴权及数据流的 SASL 权限控制,严格控制访问权限。
上下游生态融合
支持与容器、COS、Elasticsearch Service、日志服务、Clickhouse 等13+云上产品打通,实现快速一键部署。
统一运维监控
提供腾讯云平台整套的运维服务,包括租户隔离、权限控制、消息堆积查询、消费者详情查看等多维度监控告警等运维服务。
应用价值
CKafka 是一个分布式、高吞吐量、高可扩展性的消息系统,基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,具有数据压缩、同时支持离线和实时数据处理等优点。
DataHub 作为 CKafka 的一个功能模块,可以帮助用户以 CKafka 为入口,通过界面化配置,即时连接到常用的数据源和接收器,构建数据源和数据处理系统间的桥梁,将数据处理系统同业务侧的数据源解耦。

数据分发枢纽
Datahub 支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。
简单数据清洗
DataHub 接入多种不同类型的数据后,支持对多种数据源的数据进行简单数据清洗、过滤以及转换,形成统一的结构化数据,方便进一步输出和分析、归档。