相关概念

最近更新时间:2025-11-27 21:16:11

我的收藏

Apache Kafka

一款开源的分布式数据流处理平台,可以实时发布、订阅、存储和处理数据流。更多信息,请参见Apache Kafka

Broker

Broker 是一个单独的 CKafka server。Broker 主要用来接收生产者发送的消息、分配 Offset、并将消息保存到磁盘中;同时,Broker 也接收来自消费者、其他 Broker 的请求,根据请求类型进行相应处理并返回响应。

分区

分区(Partition)是用于存储消息的物理概念。每个 Topic 可以划分成多个分区,且每个 Topic 至少有一个分区,同一 Topic 下的不同分区包含不同的消息。同一 Topic 的不同分区会分配给不同的 Broker。分区是 CKafka 水平扩展性能的基础,我们可以通过增加服务器,并在服务器上分配分区的方式,增加 CKafka 的并行处理能力。

副本

副本(Replica)是消息的冗余备份,以保证服务的高可用,每个分区可以有多个副本,每个副本包含的消息是一样的(在同一时刻,副本之间并不完全一样,这依赖同步机制)。在 CKafka 中每个分区至少有双副本,保障服务的高可用。

集群

集群是由一个或多个 Broker 组成的,这些服务器共同工作以存储和传递消息。一个典型的 Kafka 集群至少包含三个 Broker,以实现故障转移和负载均衡。

Offset

Offset(位点) 是消息在分区(Partition)的唯一序号,是消息到达分区时被指定的序列号。

起始 Offset

分区的最小位点,即当前分区的首条消息的位点。

末端 Offset

分区的最大位点,即当前分区的最新消息的位点。

消费分组 Offset

分区被当前 Consumer Group 消费了的消息的最大位点。

Segment

Segment 用于将 Partition 进一步细分为若干个 Segment,每个 Segment 文件的大小相等。

生产者

生产者(Producer)是用来生产消息,并将消息按照一定规则推送到 Topic 的分区。

实例

实例(Instance)是购买 CKafka 的单位。按照峰值吞吐量(MB/s)、磁盘容量(GB)的不同,将实例分为不同规格。购买不同规格的实例,以保证 CKafka 的高可靠和高可用,默认购买的是高可用的集群服务,服务中包含多个 Broker 服务器,且客户无需关心硬件设备。

私有网络

私有网络(Virtual Private Cloud) 在腾讯云构建出独立的网络空间,与您在数据中心运行的传统网络极其相似,但是托管在腾讯云私有网络内的是您在腾讯云上的服务资源,包括:云服务器、负载均衡、云数据库等云服务资源。您不用关心网络设备的采购和运维,我们通过软件自定义网段划分、IP 地址、路由策略等。您不仅可以通过弹性 IP 、NAT 网关和公网网关等灵活访问 Internet,也可以通过 VPN / 专线接入将私有网络与您的数据中心连通。

消费者

消费者(Consumer)是从 Topic 中拉取消息,并对消息进行消费的服务。消费者将自行维护其消费到 Partition 的 offset 的相关信息。

消费者分组

消费者分组(Consumer Group)是消费者的集合,在 CKafka 中,多个 Consumer 可以组成一个 Consumer Group,且一个 Consumer 只能属于一个 Consumer Group。Consumer Group 保证其订阅 Topic 的每个分区只被分配给该 Consumer Group 中的一个 Consumer 处理。
建议您在消费时指定消费分组 ID,若不指定, CKafka 系统会随机生成一个消费分组,但是容易触发实例创建消费分组的个数上限,具体限制可参考 CKafka 计费说明

主题

主题(Topic)是用于存储消息的逻辑概念,可以看做一个消息集合。每个 Topic 可以有多个生产者向其中推送(push)消息,也可以有任意多个消费者消费其中的消息。

消息队列 CKafka 版

消息队列 CKafka 版(TDMQ for CKafka)是一个分布式、高吞吐量、高可扩展性的消息系统,100% 兼容开源 Kafka API 2.4、2.8、3.2 版本。CKafka 基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。CKafka 具有高可用、数据压缩、同时支持离线和实时数据处理等优点,适用于日志压缩收集、监控数据聚合、流式数据集成等场景。

ZooKeeper

ZooKeeper 是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。在消息队列 CKafka 中,ZooKeeper 主要用于存储集群的元数据(MetaData)、进行 Leader 选举、故障容错等。ZooKeeper 作为消息队列 CKafka 版的一部分,您无需感知ZooKeeper。

升级实例内核小版本

非跨版本升级,例如将消息队列 CKafka 版实例的版本从v2.4.2_r1.2.4升级至v2.4.2_r1.2.7。更多信息,请参见升级实例内核小版本

接入方式

一个实例最多创建5条路由。选择 SASL_PLAINTEXT 接入方式的路由有且仅可以有一条,例如路由类型为公网域名接入选择了 SASL_PLAINTEXT 接入方式,则创建其他的路由时不可以再选择 SASL_PLAINTEXT 接入方式。

消息时间戳

CreateTime 表示生产者创建这条消息的时间;LogAppendTime 表示 Broker 接收到消息的时间。

集群负载

集群整体负载情况,所有节点中取最大值。建议负载过高时,及时增加集群带宽规格。

请求队列深度

请求队列深度反映当前未处理的生产请求个数,如果该值过大可能是同一时间请求量过大,CPU 负载过高或者磁盘 IO 出现瓶颈。

ISR

Kafka ISR 扩充次数,即存在未同步副本的情况下,当未同步副本追上 leader 数据,会重新加入ISR,此时该次数就会加1。Kafka ISR 收缩次数,即当出现Broker 宕机,ZooKeeper 重连的情况,会出现ISR缩小的次数统计。

分区流量倾斜

开启后,将对所选 Topic 下分区的生产、消费流量进行倾斜判断。判断规则为:指定时间范围内单个分区的生产/消费消息总流量,超过所在 Topic 各分区平均值的指定比例。

分区均衡引流

消息队列 CKafka 版支持分区动态处理功能,当实例集群出现分区倾斜的情况时,可以手动进行分区均衡,重新分配分区在节点上的分布情况。也可以选择 自动化分区均衡 ,CKafka 会根据您设定的时间自动检查 Topic 的分区分布,自动分析选择业务低峰期发起分区均衡。

版本

Apache Kafka 目前共演进了 0.7.x 到 3.3.x 大概30个版本,从消息队列的角度可分为四个阶段:0.x、1.x、2.x、3.x。目前腾讯云消息队列 CKafka 版针对这四个发展阶段均提供了商业化云上兼容版本,基本覆盖了用户使用的主流 Kafka 版本。
CKafka 版本的表达方式为 x.y.z_va.b.c。x.y.z 表示兼容的开源 Kafka 版本,a.b.c 表示 CKafka 提供的 Broker 增强版本(CKafka enhanced version)。
具体版本更新说明详见 Broker 版本升级记录

高可用

高可用是指系统能够在预定的时间内持续提供服务的能力,通常通过冗余设计、故障自动检测和快速切换等机制实现。在 CKafka 中,高可用性通过多副本机制和跨可用区部署来保障,确保即使部分节点或机房发生故障,服务仍能正常运行。

SDK

SDK(Software Development Kit)是为特定软件包、硬件平台或操作系统等提供开发工具集合的套件。在 CKafka 中,SDK 提供了多种语言的客户端开发库(如 Java、Python 等),帮助开发者更方便地实现消息的生产、消费和管理操作。

ETL

ETL(Extract, Transform, Load)是一种数据集成过程,包括从数据源提取数据、进行转换处理,并最终加载到目标数据存储中。在 CKafka 生态中,ETL 工具常用于将 Kafka 中的数据流转到其他系统(如数据仓库、实时分析引擎等),进行进一步处理和分析。

容灾

容灾是指在自然灾害、硬件故障、网络中断等灾难性事件发生时,系统能够快速恢复并继续提供服务的能力。CKafka 通过多副本、跨可用区(AZ)部署和数据同步策略实现容灾,确保数据的完整性和服务的连续性。

带宽

带宽是指网络传输中单位时间内可传输的数据量,通常以 Mbps 或 Gbps 为单位。在 CKafka 中,带宽指标直接影响消息的生产和消费速率,实例带宽资源决定了集群处理消息流量的能力上限。

磁盘

磁盘是用于持久化存储数据的硬件设备。在 CKafka 中,所有消息均持久化写入磁盘,保证数据不丢失。磁盘的容量、I/O 性能直接影响消息的存储能力和读写效率。

云硬盘

云硬盘是一种高可用、高可靠、低成本、可定制化的网络块设备,可作为云服务器的独立可扩展硬盘使用。它提供数据块级别的数据存储,采用三副本的分布式机制,为云服务器提供数据可靠性保证。云硬盘产品提供高性能云硬盘、通用型 SSD 云硬盘、SSD 云硬盘、增强型 SSD 云硬盘和极速型 SSD 云硬盘五种云硬盘类型,不同的硬盘类型、性能、特点和价格均不同,您可根据部署的应用要求自行选择。

SSD 云硬盘

SSD 云硬盘是一种基于固态硬盘(SSD)的云存储服务,具有低延迟、高吞吐和高 IOPS 的特点。在 CKafka 中,采用 SSD 云硬盘作为底层存储可显著提升消息读写性能,适用于高吞吐、低延迟的业务场景。

高性能云硬盘

高性能云硬盘是一种基于分布式存储架构的块存储服务,专为 I/O 密集型应用设计,提供高吞吐、低延迟的稳定性能。在 CKafka 中,高性能云硬盘作为底层存储介质,保障消息持久化与读写效率,适用于高并发生产消费场景。

Serverful

Serverful,CKafka 的经典形态,用户可以根据需求选购相应规格的集群,随着业务量变化,需要保持一定的关注在 CKafka 集群。详细信息可参考CKafka版本能力对比

Serverless

Serverless,CKafka 的全新形态,目标是彻底释放用户的精力,更多的聚焦在业务逻辑。详细信息可参考CKafka版本能力对比

CAM

通过访问管理服务(Cloud Access Management,CAM)可以在账号层面对 CKafka 资源进行精细化的权限管理。
用户与权限分配:根据企业组织架构,为不同职能部门成员创建独立的用户或角色,并分配专属安全凭证(控制台登录密码、云 API 密钥等)或临时凭证,确保安全可控地访问 CKafka 资源。
精细化权限控制:基于员工职能设置差异化的访问策略,精确控制每个用户/角色可执行的操作类型和可访问的资源范围,实现严格的权限隔离。
详细的介绍和操作方法请参考账号管理权限概述

ACL

ACL(Access Control List)策略支持在资源层面对用户访问进行控制,通过在控制台自定义设置用户并配置如下类似策略:允许/拒绝用户 user 通过 IP 读/写 Topic 资源,利用“​用户+策略”双重限制,实现 Topic 级别的生产/消费权限隔离,增强对公网/内网传输中的用户访问控制。详细的介绍和操作方法请参考配置 ACL 策略

存储类型

消息队列 CKafka 支持固定存储和弹性存储两种存储方式,不同存储方式的适用场景和计费方式不同,购买实例时,您可以从两种存储方式中任选一种。

固定存储

固定存储是指为 CKafka 实例预先配置的、不可动态扩展的磁盘容量。在创建实例时选定,存储空间大小与实例规格(如带宽、分区数)绑定。若磁盘写满,实例将无法继续接收新消息,直至用户通过“升配”操作扩大整体规格。该模式适用于业务流量稳定、可预估的场景。

弹性存储

弹性存储是 CKafka 提供的一种磁盘容量独立扩展的能力。它允许用户在不变更实例其他规格(如带宽、CPU)的情况下,单独为实例动态增加磁盘空间。此功能能有效应对因消息堆积或流量突增导致的磁盘压力,避免因存储写满而服务不可用,是实现存储资源按需使用、灵活扩容的关键特性。

升配

升配是指提升 CKafka 实例的规格配置,通常包括增加带宽、分区数、磁盘容量(或启用弹性存储扩容)等操作。该操作常用于应对业务增长、流量洪峰或规划内的容量扩展,旨在提升实例的整体处理能力与承载上限。升配过程可能需要短暂重启或服务抖动,建议在业务低峰期进行。

降配

降配是指降低 CKafka 实例的规格配置,例如减少带宽、缩小磁盘容量等。该操作通常用于业务规模缩减、成本优化或资源回收,有助于降低使用成本。需要注意的是,降配磁盘容量时,需确保当前已用存储空间低于目标规格,否则操作将无法执行,且降配同样可能引发服务短暂重启。

实例销毁保护

开启实例销毁保护开关后,实例将无法通过控制台或者 API 被删除,如需销毁实例,您需要先手动关闭销毁保护开关,才能执行实例的销毁操作。建议对关键业务长期开启此保护开关。
实例销毁保护对系统层级的销毁不生效,如按小时计费实例因欠费导致释放,包年包月实例因到期隔离后释放。

隔离期

包年包月实例被删除后,将在控制台保留7天,状态显示为已隔离,处于已隔离状态的实例不能生产和消费数据,已保存在 CKafka 内的数据以及配置不会被销毁,到期的消息仍然会依照开源 Kafka 机制被自动删除。期间您可以手动续费,续费成功后,实例即可恢复正常运行状态,实例可正常使用。

销毁/退还

当您不再需要消息队列 CKafka 版实例时,可以销毁并释放该实例。包年包月实例在被手动退还或者到期/欠费自动退还后,会在控制台中保留7天,状态显示为已隔离,7天后(包括第7天)彻底释放,在此期间您可以选择直接彻底删除该实例。

SASL

SASL 是一种用于身份认证的安全协议,支持两种验证机制:
PLAIN 机制:采用明文方式进行用户名和密码的简单验证。
SCRAM 机制:服务端与客户端采用哈希算法对用户名与密码进行身份校验的安全认证,CKafka 支持 SCRAM-SHA-256 和 SCRAM_SHA_512 两种不同强度的加密算法。
消息队列 CKafka 版通过 SASL 协议来进行身份验证,开启 SASL 鉴权后,只有通过认证的用户才能访问 CKafka 资源。

SSL

一种数据传输安全协议,通过加密技术确保数据在传输过程中不被窃取或篡改,有效提升通信安全性。默认情况下,SSL 证书由服务端提供,您也可以使用自定义证书,本文介绍自定义证书的配置方法。具体可参考配置自定义SSL证书

数据压缩

数据压缩可以减少网络 IO 传输量,减少磁盘存储空间。CKafka 2.1.0之前的版本支持三种压缩算法:GZIP、Snappy、LZ4。详细内容可参考压缩数据

零拷贝

零拷贝(Zero-copy)指数据在磁盘和网络进行传输时,避免昂贵的内核态数据拷贝,从而实现快速的数据传输。

事务

Kafka 的事务功能是为了支持在分布式环境中实现原子性操作而设计的。它允许生产者在发送消息时确保消息的完整性和一致性,特别是在需要多条消息作为一个整体进行处理的场景中。开启事务消息后,事务协调器会对集群 CPU、内存、网络带宽等指标有一定影响,同时高并发事务易引发锁竞争,导致消息写入延迟,集群吞吐量可能下降 30%~50%​,事务管理的使用详见 CKafka 事务管理

消息幂等

消息幂等性确保即使相同消息被多次发送,也不会在Kafka的存储中产生重复的记录。这对于保证数据的完整性和一致性非常关键。开启消息幂等后,集群会消耗资源(CPU/内存/网络)作为代价换取​单分区数据强一致性,且无法解决跨会话或跨分区问题,也会对集群整体负载有一定影响。

安全组

一种虚拟防火墙,具备状态的数据包过滤功能,用于设置实例的网络访问控制,控制实例级别的出入流量。具体操作请参考 VPC 接入绑定安全组

MFA

MFA(Multi-Factor Authentication)即多因子认证,是一种简单有效的安全认证方法。它可以在用户名和密码之外,再增加一层保护。CKafka 已默认为删除实例操作开启了 MFA 认证,删除实例时,需要先完成身份验证(微信扫码验证、手机验证码校验),以确保是本人操作。

Prometheus

Prometheus 是一款开源的系统监控和警报工具包,最初由 SoundCloud 开发并于2012年发布为开源项目。它专为云原生环境和微服务架构设计,支持高维数据模型和灵活的查询语言(PromQL),广泛应用于现代分布式系统监控。

消息保留时间

在磁盘容量充足的情况下,消息的最长保留时间。默认值为72小时,取值范围为24小时~480小时。磁盘容量不足(即磁盘水位达到85%)时,将提前删除旧的消息,以确保服务可用性。

发布/订阅关系

一种异步的服务间通讯模型。发布者无需了解订阅者的存在,直接将消息发送到特定的主题。订阅者无需了解发布者的存在,直接从特定的主题接收消息。

订阅关系

Topic 被 Group 订阅的情况。CKafka 版支持查看订阅了指定 Topic 的在线 Group 的情况。

生产端连接关系

生产端连接关系描述了消息生产者(Producer)与 CKafka 集群之间的网络连接状态。一个生产者会与目标 Topic 的所有分区 Leader 副本所在的 Broker 建立 TCP 长连接,用于高效发送消息。连接数的多少取决于 Topic 的分区数和生产者实例数。稳定的连接关系是保证消息低延迟、高吞吐生产的基础。

topic节点分布

Topic 节点分布是指一个Topic的分区及其副本在 CKafka 集群不同 Broker 节点上的物理分布情况。CKafka 采用分区副本机制,默认会将一个分区的多个副本(如 Leader 和 Follower)分散在不同的 Broker 甚至不同的可用区(AZ)上。这种分布是实现高可用、负载均衡和容灾能力的关键。

Compact模式

Compact 模式是 Kafka 提供的一种特殊的日志压缩(Log Compaction)策略。不同于基于时间或大小的删除策略,该模式会为每个消息 Key 保留最新的值(Value),并清理掉旧的重复值。它适合用于存储数据表的变更日志(Changelog),如数据库的 binlog,可以恢复出最终状态,从而节省存储空间。

客户端

客户端泛指使用 CKafka 服务的应用程序,通常分为生产者客户端(Producer Client)和消费者客户端(Consumer Client)。它们通过官方提供的 SDK 或开源 Kafka 客户端库,与 CKafka 集群建立连接,实现消息的发送(生产)和接收(消费)。客户端的配置、版本及性能直接影响消息收发的效率和稳定性。

监控

监控是指对 CKafka 实例及其相关资源的运行状态、性能指标进行持续性的观测与收集。CKafka 提供丰富的监控指标,如吞吐量(TPS)、连接数、磁盘使用率、请求延迟等,并支持与云监控服务集成。通过监控面板和告警规则,用户可以实时掌握集群健康度,快速定位并处理潜在问题。

TPS

TPS(Transactions Per Second)在消息队列中通常指每秒处理的消息数,是衡量系统吞吐能力的关键性能指标。在 CKafka 中,TPS 分为生产 TPS(每秒写入的消息数)和消费 TPS(每秒读取的消息数)。监控 TPS 有助于评估业务流量、判断系统负载以及进行容量规划。

连接数

连接数是指与 CKafka 集群建立的 TCP 连接总数,包括生产者、消费者以及管理工具等客户端发起的连接。连接数反映了访问集群的客户端数量与活跃程度。CKafka 实例规格通常对最大连接数有限制,过多的连接可能消耗系统资源,需根据业务规模选择合适的实例规格。

限流

限流是 CKafka 提供的一种流量控制机制,当客户端的生产或消费速率超过预设的阈值时,服务端会主动限制其请求速率以保护集群稳定性。限流可防止个别异常客户端耗尽集群资源,保障多租户环境下的公平性,是实现服务质量和资源隔离的重要手段。

延迟回包

延迟回包是指生产者发送消息后,等待 Broker 返回确认响应(ACK)所花费的时间。该指标直接影响了消息生产的端到端延迟,与 ACK 配置(如 ack=1或all)、网络状况、Broker 负载和磁盘 I/O 性能密切相关。较低的延迟回包意味着更高的实时性。

内网出带宽

内网出带宽是指 CKafka 实例在同一地域的私有网络(VPC)环境下,向外发送数据所能占用的最大网络流量。对于 CKafka 而言,这通常指消费者从集群拉取消息所消耗的带宽。该指标是内网消费者消费能力的潜在瓶颈。

内网入带宽

内网入带宽是指 CKafka 实例在同一地域的私有网络(VPC)环境下,接收流入数据所能占用的最大网络流量。对于 CKafka 而言,这通常指生产者向集群发送消息所消耗的带宽。该指标是内网生产者生产能力的潜在瓶颈。

公网出带宽

公网出带宽是指 CKafka 实例通过公网域名接入点向外发送数据所能占用的最大网络流量。该带宽通常被位于公有网络(Internet)上的消费者拉取消息所消耗。公网带宽需要单独计费,且通常成本高于内网带宽。

公网入带宽

公网入带宽是指 CKafka 实例通过公网域名接入点接收流入数据所能占用的最大网络流量。该带宽通常被位于公有网络(Internet)上的生产者发送消息所占用。公网带宽需要单独计费,是公网生产者生产能力的瓶颈。

私有网络

私有网络(Private Network/VPC)是用户在云上自定义的逻辑隔离的专用网络空间。CKafka 实例通常部署在 VPC 内,同一 VPC 下的云服务器(CVM)等资源可以通过内网直接访问 CKafka,获得低延迟、高安全性的通信能力,且内网流量通常免费。

公有网络

公有网络(Public Network/Internet)是指互联网。CKafka 支持通过公网域名接入点提供服务,允许部署在本地数据中心或其他云环境的客户端通过互联网访问消息队列。公网访问方便灵活,但通常会带来更高的网络延迟和流量成本。

子网

子网是私有网络(VPC)内的 IP 地址范围块,用于在 VPC 内进一步划分网络段,实现更精细的网络资源管理和隔离。CKafka 实例的 Broker 节点会部署在VPC 的特定子网中,通过子网的路由表和安全组/网络 ACL 规则控制网络访问策略。

路由

路由表由一系列路由策略组成,用于定义私有网络(VPC)内子网流量的流向规则。访问 CKafka 实例的流量会根据其所在子网关联的路由表进行转发,确保生产者和消费者的请求能够正确地到达 Broker 节点,并返回响应。

VPC 网络

VPC 网络是私有网络的同义表述,指云上为用户构建的逻辑隔离的虚拟网络环境。用户可以在 VPC 内部署 CKafka、云服务器、数据库等多种云资源,并完全控制IP地址范围、子网划分、路由策略和访问控制,是实现云资源安全互联的基础。

公网域名接入

公网域名接入是 CKafka 提供的一种访问方式,它为实例分配一个公网可解析的域名。允许开发者从互联网上的任何位置(如本地IDC、办公网络)生产和消费消息,极大提升了开发测试和混合云架构的灵活性。为保障安全,通常需要与用户名密码认证或 SASL 机制结合使用。

支撑环境

支撑环境指 CKafka 实例运行所依赖的底层基础设施和平台服务,包括计算资源(虚拟机或容器)、存储资源(高性能云硬盘)、网络资源(VPC、负载均衡)以及运维管理系统(监控、告警、日志)。稳定可靠的支撑环境是 CKafka 提供高性能、高可用服务的基础保障。

CDC

CDC(变更数据捕获)是一种常见的数据集成技术,用于实时捕获数据库的增量变更(如INSERT, UPDATE, DELETE)。CKafka 是承载 CDC 数据的理想中间件,常与 Debezium、Canal 等工具配合,将数据库的 binlog 实时同步到 Kafka Topic,用于构建数据仓库、实时分析和数据同步等场景。

TEZ

腾讯云边缘可用区(TencentCloud Edge Zone,TEZ)是腾讯云的本地扩展,适用于解决计算、存储和服务可用性问题。腾讯云边缘可用区可为您带来云的诸多优势,例如弹性、可扩展性和安全性。借助腾讯云边缘可用区,您可以在靠近最终用户的地理位置运行对延迟敏感的应用程序,基本消除延迟问题。腾讯云边缘可用区提供与中心节点一致的体验,助力业务下沉,具备更低延时、更广覆盖、更少成本等特点。

Controller

集群控制节点(Controller)。CKafka 数据层和原生 Kafka 采用相同的分布式部署方式,即多个数据副本分布在不同 Broker 节点,不同节点会部署在不同可用区。在处理某个分区时,不同的节点之间会有 Leader-follower 的关系,当 Leader 发生异常不在线时,集群控制节点(Controller)会选举出新的分区 Leader 来承接这个分区的请求。

事件记录

消息队列 CKafka 版的事件中心能力支持对实例运行过程中发生的各类运维事件、诊断事件、Broker 变更事件进行集中的管理、存储、分析和可视化展示,便于日后查询、审计和回溯。同时还支持事件告警能力,您可以在腾讯云可观测平台针对关键事件(如节点下线、磁盘扩容失败)配置告警规则,便于运维人员及时处理。
具体的事件类型介绍和查询方法请参考查看事件记录

接入点

Producer 或 Consumer 连接消息队列 CKafka 版时使用的地址,由 Broker 的 IP 地址和端口号拼接而成,格式为 Broker 的 IP 地址:端口号,或由 CKafka 实例域名和端口号拼接而成,格式为实例域名:端口号。

ACK

ACK(Acknowledgment)是 Kafka 中生产者(Producer)与 Broker 之间的一种消息确认机制,用于控制消息的可靠性。生产者发送消息后,Broker 会根据 ACK 配置返回确认响应,确保消息是否成功写入。
在 CKafka 中,ACK 有以下几种配置:
​ACK=0​:生产者发送消息后不等待 Broker 确认,吞吐量最高,但可能丢失消息。
​ACK=1​:Leader 副本写入成功后即返回确认,平衡了性能和可靠性。
​ACK=all(或 -1)​​:要求所有 ISR(In-Sync Replicas)副本都写入成功后才返回确认,提供最高可靠性,但延迟较高。
合理配置 ACK 可以在消息可靠性和系统吞吐量之间取得平衡,适用于不同的业务场景。详情可参见 ACK 参数配置

弹性带宽

弹性带宽是指消息队列 CKafka 实例能够根据实际业务流量动态调整带宽配置的能力。当业务流量出现周期性高峰或突发增长时,弹性带宽可自动或手动扩展带宽上限,避免因带宽瓶颈导致的消息堆积或延迟;而在流量低谷时,也可相应收缩以优化成本。这一特性有效保障了集群应对流量波动的灵活性,兼顾性能与资源利用率。
若业务流量突破购买的集群带宽规格,超出部分按照实际用量计费,若未超出规格则不会产生费用。适合业务侧偶尔出现突发流量的场景。

连接器

CKafka 连接器是腾讯云上一款 SaaS 化的数据接入和处理工具,能够一站式实现数据的高效接入、处理及分发。主要提供 Kafka to Kafka 和 Kafka to Elasticsearch Service 两款数据流转插件,并内置简单可配置的数据清洗(ETL)能力,帮助用户低成本构建稳定可靠的数据流转链路。Schema
Schema 是一种消息数据结构的定义规范,用于约定消息体的字段类型、格式和约束。在 CKafka 中集成 Schema 注册表(如 Apache Avro、Protobuf)后,生产者和消费者可基于统一的 Schema 序列化和反序列化消息,确保上下游系统间数据格式的一致性,减少兼容性错误。同时,Schema 版本管理支持平滑演进,便于字段变更和回溯,大幅提升数据治理的规范性与协作效率。

地域

地域(Region)是指物理的数据中心的地理区域。

AZ

可用区(Availability Zone)是指腾讯云在同一地域内电力和网络互相独立的物理数据中心。详细介绍请参见 云服务器-地域和可用区。CKafka 支持跨 AZ 部署,通过将副本分布到不同可用区,提升集群的容灾能力和高可用性。建议您在购买 CKafka 实例时,选择最靠近您客户的地域,以降低访问时延、提高访问速度。

消息

消息队列 CKafka 版中信息传递的载体。消息可以是网站的页面访问、服务器的日志,也可以是和 CPU、内存相关的系统资源信息,但对于消息队列 CKafka 版,消息就是一个字节数组。

最大消息大小

消息队列 CKafka 版能收发的消息的最大值。消息的最大值上限为12 MB,若超过 12MB 消息会发送失败。

未消费消息数

当前分区下的消息堆积总量,即最大位点减去消费位点的值。堆积量是一个关键指标,如果发现堆积量较大,则Consumer可能产生了阻塞,或者消费速度跟不上生产速度。此时需要分析Consumer的运行状况,尽力提升消费速度。您可以清除所有堆积消息,从最大位点开始消费,或按时间点进行位点重置。具体操作,请参见查看和手动重置消费进度

SCF 触发器

SCF 触发器是腾讯云 ​Serverless Cloud Function(SCF)​​ 服务提供的消息触发机制,允许用户将 ​CKafka​ 作为事件源,自动触发云函数的执行。当 CKafka Topic 中有新消息到达时,SCF 会自动拉取消息并调用绑定的函数进行处理,实现 ​消息驱动​ 的无服务器架构。