有奖捉虫:行业应用 & 管理与支持文档专题 HOT

操作场景

日志采集功能是容器服务 TKE 为用户提供的集群内日志采集工具,可以将集群内服务或集群节点特定路径文件的日志发送至 腾讯云日志服务 CLS消息队列 CKafka。日志采集功能适用于需要对 Kubernetes 集群内服务日志进行存储和分析的用户。
日志采集功能需要为每个集群手动开启并配置采集规则。日志采集功能开启后,日志采集 Agent 会在集群内以 DaemonSet 的形式运行,并根据用户通过日志采集规则配置的采集源、CLS 日志主题和日志解析方式,从采集源进行日志采集,将日志内容发送到日志消费端。您可根据 操作 为集群开启日志采集功能:

前提条件

请在开启前保证集群节点上有足够资源。开启日志采集功能会占用您集群的部分资源。
占用 CPU 资源:0.11 - 1.1核,日志量过大时可根据情况自行调大。
占用内存资源:24 - 560MB,日志量过大时可根据情况自行调大。
日志长度限制:单条512K,如超过会截断。
若使用日志采集功能,请确认 Kubernetes 集群内节点能够访问日志消费端。且以下日志采集功能仅支持 Kubernetes 1.10及以上版本集群。

基本概念

日志采集 Agent

TKE 用于采集日志信息的 Agent,采用 Loglistener,在集群内以 DaemonSet 的方式运行。

日志规则

用户可以使用日志规则指定日志的采集源、日志主题、日志解析方式和配置过滤器。
日志采集 Agent 会监测日志采集规则的变化,变化的规则会在最多10s内生效。
多条日志采集规则不会创建多个 DaemonSet,但过多的日志采集规则会使得日志采集 Agent 占用的资源增加。

日志源

包含指定容器标准输出、容器内文件以及节点文件。
在采集容器标准输出日志时,用户可选择所有容器、或指定工作负载和指定 Pod Labels 内的容器服务日志作为日志的采集源。
在采集容器文件路径日志时,用户可指定工作负载或 Pod Labels 内容器的文件路径日志作为采集源。
在采集节点文件路径日志时,用户可设定日志的采集源为节点文件路径日志。

消费端

用户选择日志服务 CLS 的日志集和日志主题作为消费端。

提取模式

日志采集 Agent 支持将采集到的日志以单行全文、多行全文、单行 - 完全正则、多行 - 完全正则、JSON、分隔符、组合解析的形式发送至用户指定的日志主题。

过滤器

开启过滤器后可以根据用户指定的规则采集部分日志,key 支持完全匹配,过滤规则支持正则匹配,如仅采集 ErrorCode = 404 的日志。

操作步骤

开启日志采集

1. 登录 容器服务控制台,选择左侧导航栏中的运维功能管理
2. 运维功能管理页面上方选择地域,单击目标集群右侧的设置。如下图所示:



3. 设置功能页面,单击日志采集右侧的编辑
4. 勾选开启日志采集,单击确定。如下图所示:



5. 开启后,您可以在功能管理列表页查看日志采集状态。如下图所示:




关闭日志采集

1. 登录 容器服务控制台,选择左侧导航栏中的运维功能管理
2. 运维功能管理页面上方选择地域,单击需要关闭日志采集的集群右侧的设置。如下图所示:



3. 设置功能页面,单击日志采集右侧的编辑
4. 取消勾选开启日志采集,单击确定。如下图所示: