日志服务

最近更新时间:2025-04-08 15:25:53

我的收藏
TSF 使用腾讯云产品 日志服务(Cloud Log Service,CLS)为用户提供一个一站式日志服务平台。CLS提供了从日志采集、日志存储到日志检索,图表分析、监控告警、日志投递等多项服务,协助用户通过日志来解决业务运维、服务监控、日志审计等场景问题。

操作场景

日志配置项用于指定采集日志的规则,包括日志的采集路径和日志解析格式。用户可以在腾讯微服务平台控制台上创建日志配置项,然后将配置项发布到部署组上。同一个部署组可以关联多个日志配置项。

前提条件

已开通 CLS 日志服务。

操作步骤

新建日志配置项目

采集配置:
配置名:输入配置名称,不能为空,最长为60个字符。
日志消费端:
日志集:选择合适的日志集。
日志主题:选择日志集下合适日志主题,也支持选择自动创建一个新的日志主题。
说明:
1. 日志集:日志集(Logset)是对日志主题及指标主题的分类,一个日志集可包含多个日志主题和指标主题。一个日志集通常对应公司内的某一个项目/业务,建议将某个项目/业务下的多个应用/服务的日志主题归属到同一个日志集下。
2. 日志主题:日志主题(Log Topic)是日志数据在日志服务(Cloud Log Service,CLS)平台进行采集、存储、检索和分析的基本单元,采集到的海量日志以日志主题为单元进行管理,包括采集规则配置、保存时间配置、日志检索分析以及日志下载/消费/投递等。
采集路径:设置您的日志采集路径,可配置一个或者多个日志采集路径。日志目录前缀以/开头,文件名以非/开头。/**/代表LogListener将监听所填前缀目录下的所有层级匹配上的日志文件。多文件路径之间为或关系。目录前缀和文件名支持?和*通配符,不支持逗号。
注意:
Linux 日志路径必须以/开头。 Windows文件路径必须以盘符开头,例如C:\\。
Linux 系统中的日志路径:/[目录前缀表达式]/**/[文件名表达式],例如:/data/log/**/*.log。
Windows 系统中的日志路径:[盘符]:\\[目录前缀表达式]\\**\\[文件名表达式],例如:C:\\Program Files\\Tencent\\...\\*.log。
填写日志采集路径后,LogListener 会按照[目录前缀表达式]匹配所有符合规则的公共前缀路径,并监听这些目录(包含子层目录)下所有符合[文件名表达式]规则的日志文件。其参数详细说明如下:
字段
说明
目录前缀
日志文件前缀目录结构,仅支持通配符 * 和 ?
* 表示匹配多个任意字符
? 表示匹配单个任意字符
不支持填写逗号
**
表示当前目录以及所有子目录
文件名
日志文件名,仅支持通配符 * 和 ?
* 表示匹配多个任意字符
? 表示匹配单个任意字符
不支持填写逗号
备注:填写日志配置项的备注下信息,选填, 200字符内。
数据集:选择“无”。用户可以通过数据集管理配置不同的子账号和协作者使用不同资源的权限,管理方法详情请参见 数据集管理

解析规则配置:
采集策略:选择您的采集策略;支持全量/增量采集。
回溯采集:对于增量采集支持策略,支持配置回溯采集的位置,即从从最新的位置,往前采集一定数量字节(Byte)的日志。
编码模式:选择您的 UTF-8,
提取模式:选择您的日志提取模式,支持结构化提取和非结构化提取,详细参见 CLS 关于日志提取规则
过滤器:选择是否开启过滤器;开启后可以仅采集符合过滤规则的日志。
说明:
例如,您希望原始日志内容中 response_code 为400或500的所有日志数据被采集,那么 key 处配置 response_code,过滤规则选择等于,Value 处配置正则表达式 400|500。
例如,您希望原始日志内容中 response_code 为400或500的所有日志数据被采集,那么 key 处配置 response_code,过滤规则选择等于,Value 处配置正则表达式 400|500。
上传解析失败的日志:开启后,LogListener 会上传解析失败的日志;关闭会丢弃失败的日志。
解析失败的日志的键名称:输入您希望的名称;默认值为 LogParseFailure,所有解析失败的日志,均以 LogParseFailure 作为键名称(Key),原始日志内容作为值(Value)进行上传。
高级配置:
超时属性:该配置控制日志文件的超时事件。支持“自定义”、“不超时”。如果一个日志文件在指定时间内没有任何更新,则为超时。超时的日志文件 LogListener 将不再监控。当您的日志文件数量较大时,建议降低超时时间,避免 LogListener 性能浪费。
最大目录深度:该配置控制日志采集的最大目录深度。LogListener 不会采集所在目录层级超过指定最大目录深度的日志文件。当您目标采集路径包含模糊匹配时,建议配置合适的最大目录深度,避免 LogListener 性能浪费。


绑定部署组

保存上述 新建日志配置项 的相关配置后,可以将配置绑定至指定部署组,一个配置支持绑定到多个部署组。
依次选择集群、命名空间后,勾选目标部署组即可。选择完成后点击确定即可完成日志配置的发布。发布完成后可以前往日志配置项列表页,点击日志配置项名称,进入详情页,选择发布情况,查看日志发布情况。


日志检索

完成日志配置项的创建后发布后,回到志配置项列表页,在操作栏点击“日志检索”后跳转至 CLS 控制台检索分析页面,进行日志分析相关操作,关于检索分析相关介绍,请参见 检索分析

仪表盘

日志服务提供丰富的图表类型,支持用户使用 SQL 灵活统计日志内的系统及业务指标,并通过图表进行展示。用户还可以将图表分析结果保存到仪表盘,进行长期监控。关于仪表盘相关介绍,请参见 仪表盘

数据处理

CLS 支持对日志 数据加工,提供对日志数据的过滤、清洗、脱敏、富化、分发等能力。以及 定时 SQL 分析,可根据您定义的时间窗口、调度周期, 周期性地对日志数据进行查询,并将查询的结果保存到您指定的日志主题中。

投递与消费

CLS 可以将日志主题中的数据投递到腾讯云 COS (对象存储)、CKafka(消息队列),以满足归档或者计算的需求。关于日志投递与消费的相关介绍,请参见 投递与消费

日志告警

日志服务支持对日志及指标主题设置告警策略,告警策略会周期性执行监控任务,对监控对象中的主题执行检索分析,当查询结果满足触发条件时发送告警通知,方便用户及时发现异常问题。关于日志告警相关介绍,请参见 监控告警