文档中心>日志服务>实践教程>日志采集>通过 Kafka 数据订阅跨账号同步日志

通过 Kafka 数据订阅跨账号同步日志

最近更新时间:2025-11-04 16:26:42

我的收藏

简介

在一些场景中, 我们可能需要将日志在不同账号的日志主题之间进行迁移与同步。本文将介绍如何通过 Kafka 数据订阅功能实现将账号 A 的 a 日志主题中的日志同步至账号 B 的 b 日志主题。

前提条件

请确保 A 账号具有相应的 Kafka 协议消费权限
请确保 B 账号具有 Kafka 数据订阅权限

操作步骤

1. 登录 CLS 控制台,在日志主题管理页中,找到需要被迁移或同步的 a 日志主题,单击 a 日志主题的名称进入日志主题详情页。
2. 在日志主题详情页中,找到并单击 Kafka 协议消费页签,如下图所示:

3. 将 Kafka 协议消费当前状态开启,并按照下图配置 Kafka 协议消费(数据范围根据您实际业务场景决定)。

4. 完成配置后单击确定,您会看到该日志主题作为 Kafka 消费端的 Kafka Topic ID,Kafka 服务域名。将 Kafka Topic ID 与 Kafka 服务域名记录下来。
注意:
若 a 日志主题与 b 日志主题地域不同,请记录外网域名;若地域相同,建议记录内网域名。

5. 查看 a 日志主题所在的日志集,并记录下日志集 ID。
6. 前往 API 密钥管理,查看 A 账号的密钥 ID 与密钥 KEY,并记录下来。
7. 登录 B 账号,找到需要迁移或同步的 b 日志主题,单击 b 日志主题的名称进入日志主题详情页。
8. 在日志主题详情页中,选择采集配置页签,单击 Kafka 数据订阅配置右侧的新增,如下图所示:

9. 在集群配置步骤,按照下表内容进行配置:

参数
配置填写说明
Kafka 集群类型
选择自建 Kafka
访问方式
请根据实际场景选择内网地址公网地址
若 a 日志主题和 b 日志主题不同地域,请使用外网地址。
若 a 主题和 b 主题同地域,建议使用内网地址。
网络服务类型(仅内网访问需要)
若访问方式为通过内网地址访问,需指定目标自建 Kafka 集群的网络服务类型:
CVM
CLB
云联网(内测中,如需使用请 提交工单 联系我们)
专线网关 (内测中,如需使用请 提交工单 联系我们)
说明:
不同网络服务类型的差别与使用方式请参见 自建 Kafka 内网接入配置说明
所属网络(仅内网访问需填)
当网络服务类型选择为 CVM 或 CLB 时,需选择 CVM 或 CLB 所在的 VPC 实例。
服务地址
a 日志主题消费端的 Kafka 服务域名(内网访问填写内网域名,外网访问填写外网域名)。
私网域名解析(仅内网访问需要)
部署在 CVM 上的 Kafka Broker 之间采用内部域名通信时,您需要在此处指定每个 Broker 对应的 CVM 域名和IP地址。详细配置场景请参见 自建 Kafka 内网接入配置说明
是否需要鉴权
目标 Kafka 集群是否需要鉴权才能访问。
协议类型
选择 sasl_plaintext
认证机制
选择 PLAIN
用户名
填入 a 日志主题的日志集 ID。
密码
填入 A 账号密钥 ID#A 账号密钥 KEY。
Kafka Topic 列表
填入 a 日志主题消费端的 Kafka Topic ID。
消费组
为空。
起始位置
选择最晚
10. 完成集群配置后,可单击预览查看是否成功消费到 a 日志主题的日志。
11. 单击下一步,按需配置订阅规则,索引配置。详情可参见 配置 Kafka 数据订阅任务
12. 完成 b 日志主题的 Kafka 数据订阅任务创建后,即可使用以下日志检索分析、仪表盘、监控告警等功能。
仪表盘