配置相关

最近更新时间:2019-08-08 15:39:54

如何选取 CKafka 副本数?

建议 Topic 创建时选择双副本或三副本存储数据,保障数据可靠性。当前 CKafka 已经禁止单副本 Topic 的创建,如您账户下有单副本的 Topic,建议按如下步骤迁移:

  1. 创建新的 Topic,选择相同的分区,选取双副本;
  2. 生产消息到新的 Topic 中,存量的单副本 Topic 继续被消费;
  3. 消费完毕后修改消费者配置,订阅新的 Topic 进行消费。

消息队列新接入客户端时生产/消费错误如何处理?

  • 检查 telnet 是否通(网络问题,是否 Kafka 和生产者在相同网络环境下)。
  • 访问的 vip - port 是否配置正确。
  • Topic 白名单是否开启,如果开启需要配置正确的 IP 才能访问。

Cloud Kafka 消息保留时间配置为 1min,是否会在 1min 后立即删除堆积消息?

不一定。消息删除不仅和保留时间配置有关,也和生产消息的数据量级有关。
CKafka 删除堆积消息的最小单位是 partition 级别的文件分片,当前文件分片大小为1GB,堆积不达到一个文件分片是不会删除的。如果有10 partition,在1分钟内如果没有达到10GB的量,就不会有文件滚动,也就不会删除。

Cloud Kafka 是否支持自动创建 Topic(auto.create.topic)?

当前 Cloud Kafka 未开放自动创建 Topic 的开源接口,建议客户通过标准的 API 接口 CreateTopic 创建 Topic。

注意:

  • 通过接口 CreateTopic 自动创建的 Topic 也会占用您实例中 Topic 和 Partition 的配额,请注意配额限制。
  • 该实例下的自动创建的 Topic 的配置都会继承您所配置的分区数和副本数的值。
  • 为了防止意外创建过多的异常的 Topic,此接口有限流控制。

CKafka 消息堆积了很多如何处理?

CKafka 跟开源的 Kafka 是一模一样的机制和原理。您可以通过以下步骤来排错:

  1. 确定下您的业务有几个消费者在消费;
  2. 若消费者消费能力比较差,直接加消费者即可;
  3. 消费者已经到最高设置(≥ 您的分区数),建议您再提高主题分区数,可以提交工单申请开同白名单,我们后台审核帮忙提高分区个数。