Kafka 简介

最近更新时间:2022-06-10 11:14:29

我的收藏
腾讯云弹性 MapReduce(EMR)- Kafka 提供开源 Kafka 的云上托管服务,提供了便捷的 Kafka 集群部署、配置修改、监控告警等功能,为企业及用户提供安全稳定的 OLAP 解决方案。Kafka 数据管道是流计算系统中最常用的数据源(Source)和数据目的(Sink)。用户可以把流数据导入到 Kafka 的某个 Topic 中,通过 Flink 算子进行处理后,输出到相同或不同 Kafka 示例的另一个 Topic。Kafka 支持同一个 Topic 多分区读写,数据可以从多个分区读入,也可以写入到多个分区,以提供更高的吞吐量,减少数据倾斜和热点。

架构

支持单节点、多节点架构。根据业务需求,灵活选择。

运维

在控制台提供了开箱即用的监控、日志检索、参数调整等服务。

功能

收发解耦:有效解耦生产者、消费者之间的关系。在确保同样的接口约束的前提下,允许独立扩展或修改生产者/消费者间的处理过程。
削峰填谷:Kafka 集群能够抵挡突增的访问压力,不会因为突发的超负荷的请求而完全崩溃,有效提升系统健壮性。
顺序读写:Kafka集群能够保证一个 Partition 内消息的有序性。和大部分的消息队列一致,Kafka 集群可以保证数据按照顺序进行处理,极大提升磁盘效率。
异步通信:在业务无需立即处理消息的场景下,消息队列 Kafka 集群提供了消息的异步处理机制,访问量高时仅将消息放入队列中,在访问量降低后再对消息进行处理,缓解系统压力。

优势

100%兼容开源,轻松迁移

Kafka 集群兼容开源 Kafka 1.1.1 版本。
Kafka 集群业务系统基于现有的开源 Apache Kafka 生态的代码,无需任何改造,即可迁移上云,享受到腾讯云提供的高性能消息队列 Kafka 服务。

高性能

腾讯云专业团队对服务性能进一步调优,免除复杂的参数配置,提供更高性能。
界面化升降配能力,高性能 IaaS 层支撑。

高可用性

依托腾讯技术工程多年监控平台的技术积累,对集群全方位多角度监控,更有专业运维团队7 × 24小时处理告警保障 Kafka 集群服务的高可用性。
支持同地域自定义多可用区部署,提升容灾能力。

高可靠性

磁盘高可靠,即使服务器坏盘50%也不影响业务。
默认2副本,支持3副本,副本越多可靠性越高。