前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【最佳实践&原理解析】K8S日志一键采集,快速分析

【最佳实践&原理解析】K8S日志一键采集,快速分析

原创
作者头像
日志服务CLS小助手
发布2022-08-02 17:49:59
2K5
发布2022-08-02 17:49:59
举报
文章被收录于专栏:日志服务CLS

作者:Timothychao

导语 日志服务CLS是腾讯云提供的一站式日志服务平台,提供了日志采集、存储、检索、图表分析、数据加工、日志投递、监控告警、仪表盘可视化等多项服务,协助用户解决业务运维、运营及审计等多种场景问题。

业务背景

随着云计算技术的发展,越来越多的公司开始向业务更敏捷、成本更低、可伸缩、更灵活的云原生架构转变。而在云原生技术栈中,容器已经成为应用分发和交付的标准技术,将应用与底层运行环境进行解耦;其中 Kubernetes 已经成为容器编排的事实标准,被广泛用于自动部署、扩展和管理容器化应用。

在 Kubernetes 容器应用中,日志采集是非常重要的一环。腾讯云日志服务 CLS 针对 Kubernetes 环境下复杂环境的日志采集设计了完善的解决方案,提升了用户日志存储分析的产品体验。

日志采集新挑战

容器环境下的日志采集对比传统的虚拟机或者物理机有很多不同点,也因为容器更轻量、无状态等特性给日志采集带来了更大的挑战:

  • 复杂的日志形式:Kubernetes 首先有多样的日志形式,如审计日志、事件日志等;除此以外业务日志还分为两类:stdout 标准输出,文件日志。
  • 复杂的动态环境:Kubernetes 环境的弹性伸缩给日志采集带来了很大的困难,传统的采集配置在容器环境缺乏动态匹配的能力,无法精准灵活适配;同时多层级的筛选匹配规则也容易造成偏差和混淆。
  • 更高的可靠性要求:在 Kubernetes 中,机器的宕机、下线、上线、Pod 销毁、扩容/缩容等都是常态,需要保证日志采集的高实时性,保障数据不丢失。
  • 更高的采集性能要求:一般规格稍大的节点,可能包含几十甚至上百个容器。如何在资源有限的情况下保障大量容器的采集,这也对采集器的性能提出了更高的要求。
  • 云原生 Devops 的集成挑战:成熟的云原生架构会在 Kubernetes 上搭建一套 CICD 系统,自动化地完成业务集成和部署,日志作为运维的关键系统也需符合这套流程,但这也造成原有独立系统改造困难。

解决方案

LogListener 是腾讯云日志服务 CLS 提供的日志采集客户端,它按照预设的采集策略实时上报日志数据。

面对容器环境,CLS 在 LogListener 原有的日志采集基础上增加了容器环境交互的组件,共同组成容器采集的 Log-agent,配合完成复杂场景的日志采集。LogListener 具备解决容器环境挑战的多种能力:

  • 复杂的日志形式---支持多种采集源+解析方式,满足全部容器日志场景需求;
  • 复杂的动态环境---分别针对容器集群、采集端、服务端维护独立组件,并通过 agent 联通组合,保障采集配置的生效和正确更新;
  • 更高的可靠性要求---在采集时提前预读文件,实现文件删除场景下持续采集,解决 Pod 销毁后日志漏采问题;
  • 更高的采集性能要求---使用多线程版本提升采集性能,满足大集群下的采集性能需求;
  • 云原生 Devops 的集成挑战---全步骤支持使用 CRD 配置,将日志服务融入自动化流程

架构设计

CLS 的日志采集 Agent 会在集群内以 DaemonSet 形式运行,并根据用户通过日志采集规则配置的采集源、CLS 日志主题和日志解析方式,从采集源进行采集,将日志内容发送到消费端。

(1)CLS 服务端:建立 Log-agent;

(2)Log-agent:监听集群 CRD 和本节点 Pod 并计算采集路径;

(3)LogListener:自研高性能采集器,负责日志采集。

【运作流程】

  • 首先需要在 CLS 上创建机器组,对应容器环境内待采集的容器;
  • 按照定义的采集配置自动生成 LogListener 配置文件;
  • LogListener 加载配置并启动,从 CLS 拉取采集配置;
  • 根据业务的变化创建/更新,采集配置 CRD;
  • Log-agent 监听到 CRD 变更,根据 CRD 内容向 CLS 请求修改相应的日志主题配置;
  • Log-agent 监听 CRD 和本节点 Pod 的变化,动态计算更新采集路径;
  • LogListener 根据 CLS 获取的采集配置化,采集相应日志文件内容并解析上传到 CLS。

接入指引

CLS 支持腾讯云容器服务 TKE、弹性容器服务 EKS 和用户自建Kubernetes集群接入,不仅满足了单一容器环境下的日志一站式接入,还帮助混合云用户使用 CLS 进行统一的日志管理。

腾讯云容器服务 TKE/EKS

CLS同时支持通过环境变量自定义资源(CRD)的方式配置日志采集。

对于腾讯云的容器环境,CLS 支持采集容器/节点/宿主机日志(包括标准输出和文件日志),还默认采集Kubernetes 审计日志和事件日志,并配置默认仪表盘。

1. 容器服务 TKE/EKS 业务日志采集

当使用腾讯容器服务 TKE/EKS 业务日志采集功能时,需在新建日志采集规则时确定采集的目标数据源

支持“采集标准输出”、“采集容器内文件”及“采集宿主机文件” 3种采集类型。

1. 采集标准输出

“采集标准输出”是将 Pod 内容器日志输出到标准输出,日志内容会由容器运行(Docker 或 Containerd)来管理。

使用标准输出无需挂载额外的 volume,并使用统一的采集规则,较于其他方式最简单便捷。

2. 采集容器内文件

通常业务会使用写日志文件的方式来记录日志,当使用容器运行业务时,日志文件则被写在容器内。

3. 采集宿主机文件

业务侧经常需将日志写入日志文件,需要在容器停止后仍保留原始日志文件作为备份,避免采集异常时日志完全丢失。

此时可以给日志文件路径挂载 hostPath,日志文件会落盘到宿主机指定目录,且容器停止后不会清理日志文件。

【日志采集配置方式】

1. 控制台配置

可以通过控制台实现容器服务采集配置的下发和修改,支持实时修改生效。同时可基于 namespace、pod 以及 container 的多层级筛选,定位具体容器实现采集。

2. CRD 配置

用户不仅可以使用控制台配置日志,还可通过自定义资源定义(CustomResourceDefinitions,CRD)的方式配置日志采集。CRD 可以支持完全同等功能的采集配置,更加便捷高效地满足云原生自动化的管理需求。

用户只需定义 LogConfig CRD 即可创建采集配置,Log-agent 会根据 LogConfig CRD 的变化修改相应的 CLS 日志主题,并设置绑定的机器组。

CRD 的格式如下:

2. 集群审计日志采集

集群审计是基于 Kubernetes Audit 对 kube-apiserver 产生的可配置策略的 JSON 结构日志的记录存储及检索功能。

用户无需其他额外操作,在 TKE 一键开启日志服务后,即可享受日志自动采集上报。系统会默认根据请求记录审计日志并上报到CLS,包含:用户操作数、CRUD 操作分布、资源类型分布、活跃节点、异常访问、操作趋势统计、操作列表等。

同时还提供了开箱即用的事件仪表盘,支持事件全局检索,实现在控制台全面观测、查找、分析、定位问题。

3. 集群事件日志采集

Kubernetes Events 包括 Kuberntes 集群运行及各类资源调度情况,有助于维护人员日常观察资源变更以及定位问题。

TKE 开启日志服务后,会默认根据请求记录时间日志并上报到 CLS,包含:集群事件种类分布统计、异常事件原因统计、节点异常统计、异常事件分布趋势、异常事件列表等。

事件仪表盘示例如下:

非 TKE/EKS 其他 K8S 集群

针对非 TKE/EKS 的其他Kubernetes集群,包括自建或者其他云环境的容器服务, CLS 也提供统一的日志采集解决方案。

只需四步就可以使用日志服务采集其他 Kubernetes 集群的能力,实现混合云日志统一管理的能力:

(1)自建 Kubernetes 集群安装 LogListener;

(2)定义 LogConfig 资源类型;

(3)定义 LogConfig 对象;

(4)创建 LogConfig 对象。

日志采集配置上和腾讯云 TKE/EKS 服务基本一致,支持使用控制台和 CRD 配置采集规则。

结语

腾讯云日志服务 CLS 针对 Kubernetes 环境下复杂环境的日志采集设计了完善的解决方案,支持多种采集源和解析格式,在覆盖更多采集应用场景的同时,部署配置简易,拥有众多预设图表,一键开箱即可用,极大地降低了用户的学习成本和时间成本。另外,用户可通过控制台内嵌的仪表盘页面快速浏览数据,用户体验更佳。


以上就是 CLS 日志采集相关功能的应用实践,感谢阅读!

一站式日志数据解决方案平台
一站式日志数据解决方案平台

加入「腾讯云日志服务CLS技术交流群」,掌握最新动态,获取更多资讯!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 业务背景
  • 日志采集新挑战
  • 解决方案
    • 架构设计
    • 接入指引
      • 腾讯云容器服务 TKE/EKS
        • 1. 容器服务 TKE/EKS 业务日志采集
        • 2. 集群审计日志采集
        • 3. 集群事件日志采集
      • 非 TKE/EKS 其他 K8S 集群
      • 结语
      相关产品与服务
      容器服务
      腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档