简介
在一些场景中, 我们可能需要将日志在同地域, 不同地域,甚至不同账号的日志主题之间进行迁移或同步。 本文将介绍如何通过 Kafka 数据订阅功能实现将账号 A 的 a 日志主题中的日志同步至账号 B 的 b 日志主题。
操作步骤
1. 登录账号 A 。
2. 在 CLS 控制台 - 日志主题管理页中,找到需要被迁移或同步的 a 日志主题, 单击 a 日志主题的名称进入日志主题详情页。
3. 在日志主题详情页中,找到并单击 Kafka 协议消费 页签,如下图所示:![](https://qcloudimg.tencent-cloud.cn/image/document/e9ea2369f603c3fe193e75f92dd38eb2.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/e9ea2369f603c3fe193e75f92dd38eb2.png)
4. 将 Kafka 协议消费当前状态开启。
5. 按照下图配置 Kafka 协议消费。![](https://qcloudimg.tencent-cloud.cn/image/document/5825a5a2db6b1ccd69b96f1ac56f4627.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/5825a5a2db6b1ccd69b96f1ac56f4627.png)
6. 完成配置后, 单击确定后, 您会看到该日志主题作为 Kafka 消费端的 Kafka Topic ID,Kafka 服务域名。 将 Kafka Topic ID与 Kafka 内网服务域名记录下来。![](https://qcloudimg.tencent-cloud.cn/image/document/7d1d755d1034afdd54286a200dd9fcce.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/7d1d755d1034afdd54286a200dd9fcce.png)
7. 查看 a 日志主题所在的日志集, 并记录下日志集 ID。
8. 前往 API 密钥管理, 查看 A 账号的密钥 ID 与密钥 KEY, 并记录下来。
9. 登录 B 账号, 找到需要迁移或同步的 b 日志主题, 单击 b 日志主题的名称进入日志主题详情页。
10. 在日志主题详情页中,找到并单击采集配置页签。
11. 单击 Kafka 数据订阅入口,如下图所示:![](https://qcloudimg.tencent-cloud.cn/image/document/6da26b13589c34b910c7990a6d617abb.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/6da26b13589c34b910c7990a6d617abb.png)
12. 在集群配置步骤,进行如下配置:
集群类型:自建 Kafka
服务地址:a 日志主题消费端的 Kafka 服务域名。 若 a 日志主题与 b 日志主题不同地域,请使用外网域名; 若地域相同,建议使用内网域名。
协议类型:sasl_plaintext
鉴权机制:plaintext
用户名:a 日志主题的日志集 ID
密码:A 账号密钥 ID#A 账号密钥 KEY
Kafka Topic 列表:a 日志主题消费端的 Kafka Topic ID
消费组:为空
起始位置:最晚
13. 完成集群配置后,可单击预览查看是否成功消费到 a 日志主题的日志。
14. 单击下一步, 按需配置订阅规则,索引配置。 详情可参见 配置 Kafka 数据订阅任务。
15. 完成 b 日志主题的 Kafka 数据订阅任务创建后, 即可进行以下日志检索分析,仪表盘,监控告警等功能。
检索分析
监控告警
仪表盘
数据加工