【10月新功能速递】首发数据加工可视化、Logstash CLS Output 插件，兼容鸿蒙生态

日志服务CLS小助手

发布于 2024-11-13 10:09:42

12400

代码可运行

文章被收录于专栏：日志服务CLS日志服务CLS

运行总次数：0

代码可运行

数据加工可视化首发

数据加工任务新增“交互模式”，加工函数配置图形化操作，直观、便捷的完成结构化、字段处理等加工场景。

准备工作

已开通日志服务，创建源日志主题、并成功采集到日志数据。
已创建目标日志主题。建议目标日志主题为空主题，便于加工好的数据写入。
确保当前操作账号拥有配置数据加工任务的权限。

操作步骤

1.登录日志服务控制台，在左侧导航栏中单击数据加工。

2.单击新建加工任务。

3.基本配置：

参考页面内容，完成任务名称、启用状态、前置数据加工、数据加工服务、源日志主题、目标日志主题等内容的设置。

4.在创建数据加工任务界面的右侧，选择“交互模式”，根据业务需求进行配置即可。

5.以上内容配置完成后，点击确认，即可完成。

注：数据加工将产生费用，实际消费以使用情况为准，页面数据仅供参考

更多功能介绍，请见官网文档:

https://cloud.tencent.com/document/product/614/63940

Logstash CLS Output插件首发

Logstash 日志上传新增面向 CLS 的 Output 插件，极大提升了日志上传的稳定性与性能。

准备工作

确保云 API 密钥关联的账号具有相应的 Logstash 日志上传最小权限。

操作步骤

1.执行以下命令安装 Logstash CLS Output 插件。

logstash-plugin install logstash-output-cls

‍

2.执行以下运行 Logstash CLS Output 插件。

logstash -f logstash-sample.conf

‍

3.配置 Logstash 的配置文件 example/fluent.conf。

input {
}

## 若需要指定日志中的时间字段作为日志时间戳， 可配置如下时间解析配置
filter {
  date {
    match => ["produce_log_time","yyyy-MM-dd HH:mm:ss.SSS"]
    target => "@timestamp"
  }
}

output {
  cls{
     endpoint  => "[CLS数据接入域名]"
     topic_id  => "[日志主题id]"
     access_key_id     => ""
     access_key_secret => ""
  }
}

更多功能介绍，请见官网文档:

https://cloud.tencent.com/document/product/614/111986

使用Harmony OS Next SDK、Flutter SDK 上传日志