腾讯云日志服务 CLS 新功能发布：云原生全栈监控与易用性升级

数据来源： 2024 腾讯全球数字生态大会 (Tencent Global Digital Ecosystem Summit)

主讲人： 刘正新

一、 产品定位与核心亮点

腾讯云日志服务 (CLS) 是一款云原生可观测性产品，在原有日志能力基础上，新增 “指标主题” 功能，实现了 日志与指标的全栈式监控。

• 技术定义： 基于日志提取关键业务指标，并兼容 Prometheus 开源生态的统一可观测平台。
• 核心差异化：
  • 日志+指标融合： 打破传统监控数据孤岛，支持日志数据与指标数据的 关联分析，高效定位系统异常。
  • 开源兼容： 完全兼容 Prometheus 指标采集、查询（PromQL）、导出等协议与接口，无需运维部署，提供低成本弹性服务。

二、 产品应用场景

三、 应用框架和功能介绍

1. 功能框架

产品架构围绕 DataSight 独立控制台、云产品日志中心、数据加工 和 指标主题 四大核心模块构建。

2. 硬核指标与协议支持

• 协议兼容： 兼容 Prometheus Remote Write、Prometheus HTTP API、PromQL 查询语言。
• 数据源支持： 支持通过 API/SDK、消息队列、Beats、Logstash、Fluentd、Kubernetes 等多种方式接入；支持 MySQL、本地日志 作为数据加工源。
• 数据格式： 支持 JSON、正则、分隔符 等结构化方式。
• 分析能力： 支持 SQL JOIN、UNION、EXCEPT、INTERSECT 等语法进行多数据源关联。

3. 产品优势

• DataSight 独立控制台：
  • 灵活安全： 支持 “自定义账号密码登录” 或 “内网免登录”；支持对接 LDAP、OAuth 等第三方身份认证系统；无需登录腾讯云控制台即可访问。
  • 易集成： 可内嵌页面到企业内部统一运维平台；开箱即用，无需单独部署。
• 云产品日志中心：
  • 一站式管理： 支持日志接入、检索、统计分析及数据可视化。
  • 已覆盖产品： 已支持 对象存储 COS、容器服务 TKE、负载均衡 CLB、内容分发网络 CDN、云函数 SCF。
  • 即将支持： API网关、事件总线 EB、边缘安全加速平台 EdgeOne、云数据库 MySQL、云点播 VOD、服务器安全服务 TCSS、弹性微服务 TEM、云原生 API网关。
• 数据加工：
  • 可视化配置： 支持以 拓扑图 方式通过点击配置数据加工逻辑，无需学习 原有数据加工函数及语法。
  • 处理能力： 提供对日志数据的 过滤、清洗、脱敏、富化、分发 等能力。
• 指标主题（新增）：
  • 低成本存储： 从海量日志中提取关键业务指标，实现 低成本长期存储。
  • 高性能查询： 指标数据查询性能更高，查询语句编写更简单，适合仪表盘展示。
  • 统一管理： 统一管理指标采集规则与日志采集规则。
• 日志索引全自动配置：
  • 智能识别： 使用 “推荐配置”，系统自动识别日志字段（包括后续新增字段），无需手动配置。
  • 降低门槛： 解决索引配置概念复杂、难上手的问题，避免因配置不当需重建索引的高成本问题。
• 日志数据关联分析：
  • 多源融合： 支持同地域日志主题、外部 CSV 文件、云数据库 MySQL、自建 MySQL 之间的关联分析。

4. 荣誉背书

• 原文未提及具体技术荣誉或奖项。

四、 典型案例

案例 1：基于日志提取关键业务指标

• 背景： 原始日志数据量大（如包含 request_time、http_code、url 等字段的访问日志），全量存储成本高，且直接查询日志进行统计分析效率较低。
• 解决方案： 使用 定时SQL分析 功能，从原始日志中提取关键指标。
  • SQL逻辑： select url, host, approx_percentile("request_time", 0.95) as request_time_p95, avg("request_time") as request_time_avg group by url, host
• 成效：
  • 实现关键指标（如请求时间 P95、平均值）的 低成本长期存储。
  • 指标数据查询性能显著提升，更易于通过仪表盘展示业务状态。

案例 2：日志与用户信息表关联分析

• 背景： 某业务系统请求日志包含 status_code、user_id、ip、url 等字段，但缺乏对用户画像（如姓名、性别）的直观了解，难以进行精细化运营分析。
• 解决方案： 使用 SQL JOIN 语法，将日志数据 (log) 与用户信息表 (userinfo) 进行关联分析。
• 成效：
  • 成功输出包含 ip、url、user_id 及对应 用户名称 (Name) 的关联结果表。
  • 可进一步按用户性别等维度进行统计分析，深度挖掘日志数据价值。