有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

概述

日志服务(Cloud Log Service,CLS)提供一站式的日志数据解决方案,支持日志的采集、存储、加工、检索分析、消费投递、仪表盘、告警等功能。CLS 提供稳定可靠的服务,您可无需关注扩缩容等资源问题,同时降低了日志运维门槛,帮助您提高问题定位和指标监控的效率。
为了帮助您快速入门日志服务,本文将演示如何使用日志服务的基本功能:
使用 LogListener 采集服务器中的日志文件。
检索分析日志。
如果您没有合适的资源来采集日志,可 使用 Demo 日志快速体验 CLS,无需采集日志即可体验日志检索分析、仪表盘和告警功能,且不产生任何费用。

步骤1:开通服务

登录 腾讯云日志服务控制台。若您的账户此前未开通日志服务,该页面将提示您开通,单击开通即可。

步骤2:安装 LogListener

LogListener 是日志服务的采集客户端,通过 LogListener 可将日志文件采集至日志服务。下文将演示如何在腾讯云 CVM/Lighthouse 中安装 LogListener。 此外,LogListener 也可部署在 非腾讯云服务器容器服务 TKE自建 K8s 集群

步骤2.1:获取密钥

登录 访问管理控制台,查看(或创建)并记录密钥,并确认密钥状态为启用。



步骤2.2:安装 LogListener

1. 前往 机器组管理,在页面左上角将地域切换为需要安装 LogListener 的CVM/Lighthouse 所属的地域,单击云服务器实例批量部署
注意:
请确保目标 CVM/Lighthouse 已安装 腾讯云自动化助手(TAT)。



2. 勾选需要安装 LogListener 的机器实例,在输入 SecretId 信息中填写步骤2.1的 SecretIdSecretKey,并填写机器标识(例如 test,相当于对机器实例的分类,便于后续按照该标识批量采集多台机器的日志)。


3. 等待安装完成后,单击下一步


4. 将安装好 LogListener 的机器实例加入至新的机器组中(机器组是一组需要采集日志的机器实例列表,可针对同一机器组内的多个实例批量采集相同路径下的日志文件),填写机器组名称,单击加入



步骤3:创建日志主题

日志主题是日志数据采集、存储、检索和分析的基本单元,一个日志主题通常对应某一个应用/服务(具备类似的日志结构)。还可以使用日志集对日志主题进行分组,日志集本身不存储任何日志数据,仅方便用户管理日志主题。
1. 前往 日志主题 管理页面,在页面左上角将地域切换为步骤2.2的地域,单击创建日志主题


2. 在弹出的创建日志主题窗口中,填写相关信息,单击确定


日志主题名称:例如 test
存储类型:标准存储
日志集操作:创建日志集
日志集名称:例如 test

步骤4:配置采集规则及索引配置

1. 前往 日志主题 管理页面,单击步骤3创建的日志主题名称/ID,进入该日志主题管理页面。
2. 选择采集配置页签,在 LogListener 采集配置中单击新增


3. 在日志数据源页面,选择 JSON-文件日志。



说明
JSON 是结构化数据类型日志采集到 CLS 之后,可直接使用日志检索和分析功能(按特定字段检索日志或对使用 SQL 进行统计分析)。
如果您日志为非结构化的文本,可选择 单行全文日志。文本日志可以按照关键字检索内容,但必须结构化之后方可使用 SQL 进行统计分析,请参见 单行-正则提取日志 对日志字段进行分割和提取。
4. 选择步骤2.2创建的机器组,单击下一步


5. 填写采集规则名称采集路径(即需要采集的日志文件路径),单击下一步。 例如,待采集文件的绝对路径是/root/test.log,则采集路径填写的目录前缀是/root,日志文件名填写test.log


6. 填写索引配置,开启全文索引、键值索引,填写相关信息后,单击提交



说明
修改索引配置仅对新写入的日志生效,已有数据不会更新。
索引配置中的各个配置项说明请参见 索引配置 文档。

步骤5:检索分析日志

1. 前往 检索分析,即可检索符合检索条件的日志。 例如,下图中为检索包含status_code为400的日志。



2. 基于检索到的原始数据,使用管道符和 SQL 进行统计分析。 例如,统计 status_code 为400的日志条数。



说明
更多检索及分析语法说明请参见 语法规则 文档。

扩展阅读

基本概念:通过该文档,您可以系统了解 CLS 基本产品概念,包括日志主题、日志集、索引和分词等。
采集检索 Nginx 访问日志:通过该文档,您可以了解如何采集 nginx 日志并使用正则表达式对日志内的字段进行分割和提取。
将通过 grep 命令查找的本地日志迁移至 CLS:通过该文档,您可以将习惯使用的 grep 命令转换为 CLS 检索语法,更快地掌握 CLS 语法规则。
云产品日志接入:CLS 已集成了部分常见云产品日志,可轻松采集这些云产品的日志。
数据加工任务:可通过数据加工对原始日志进行过滤、清洗、脱敏、富化和分发。
监控告警概述:可针对日志设置告警策略,例如1分钟内 ERROR 日志大于10条即触发告警。