操作指南

API 文档

产品概述

最近更新时间:2022-04-21 19:26:45

日志服务(Cloud Log Service,CLS)提供一站式的日志数据解决方案。您无需关注扩缩容等资源问题,五分钟快速便捷接入,即可享受日志的采集、存储、加工、检索分析、消费投递、生成仪表盘、告警等全方位稳定可靠服务。全面提升问题定位、指标监控的效率,大大降低日志运维门槛。

功能概览

日志服务主要提供以下功能:

  • 日志采集:便捷实时采集跨地域、多渠道、多平台、不同数据源的日志数据,轻松采集多种其他腾讯云产品日志。
  • 日志存储:提供两种存储类型:实时存储和低频存储。
  • 日志检索分析:使用关键词检索日志,帮助用户快速定位异常日志,同时支持使用 SQL 对日志进行统计分析,获取日志条数随时间变化趋势、错误日志比例等统计指标。
  • 日志数据加工:日志过滤、清洗、脱敏、富化、分发、结构化。
  • 日志投递与消费:投递到腾讯云存储、中间件,消费到流计算。
  • 仪表盘:将检索分析结果快速生成自定义 Dashborad。
  • 告警:异常日志秒级告警,支持通过电话、短信、邮件、微信、企业微信和自定义接口回调等方式通知用户。

日志采集

日志服务目前支持 LogListener 、API、kafka 协议、对象存储(Cloud Object Storage,COS)导入等多种采集方式:

  • Loglistener 实时采集:使用腾讯云 LogListener 采集日志,便捷安装,服务稳定可靠安全、支持大部分主流 Linux 操作系统,兼顾高性能与低资源占用。
  • 通过 API:无需安装 LogListener,直接调用 API 上传日志,支持多种语言。
  • kafka 协议:支持使用 Kafka Producer SDK 上传日志到 CLS。
  • COS 导入:将腾讯云对象存储中的数据导入到日志服务。

日志存储

根据用户对日志不同的检索时延性及日志处理能力需求,提供两种存储:

  • 实时存储:适用于用户对日志有统计分析的需求,提供日志的秒级检索,实时统计分析,实时监控,流式消费等应用能力。
  • 低频存储:适用于访问频率较低且无统计分析需求的日志,如审计归档日志。低频存储提供全文检索日志的能力,满足用户对历史日志的回溯检索,归档存储等诉求。长期存储下,整体使用成本相比实时存储降低80%。

日志检索分析

针对存储在 CLS 的日志进行实时检索分析,帮助用户快速定位异常日志、统计系统及业务指标。

  • 日志检索:使用关键词按全文或字段检索日志。
  • 统计分析:使用 SQL 灵活统计日志内的系统及业务指标并通过图表进行展示,兼容 SQL 92标准,支持200+ SQL 函数。例如按省份统计业务请求数,按时间查询请求错误率变化趋势。
  • 性能优异:秒级返回查询结果,支持亿级别日志检索分析。

日志数据加工

  • 日志流实时加工和分发:日志数据流式加工,实时生成加工结果,可按使用场景分发到多个主题。
  • 日志过滤清洗:脏数据清洗,按条件过滤日志,然后再开启索引,可以有效节约费用。
  • 日志结构化:将文本日志加工成为结构化数据,方便后续的检索分析、仪表盘、告警。
  • 日志脱敏:日志文本中的敏感信息脱敏。例如手机号、身份证等。

日志投递与消费

用户可以将指定日志投递至其他云产品中,如 COS、Ckafka,用户也可以将 CLS 日志消费到腾讯云 Oceanus。

  • 日志投递至 COS:日志服务支持将日志数据投递至您账户下的 COS 存储桶中,COS 存储费用较低,推荐使用。
  • 日志投递至 Ckafka:适用于将 Ckafka 作为 source 的数据分析和入库场景。
  • 日志实时消费:直接消费日志数据到大数据组件,例如 Flink、Oceanus、Flume。

仪表盘

仪表盘提供数据分析全局视图,您可以在仪表盘查看多个基于查询与分析结果的统计图表。

  • 仪表盘:仪表盘支持保存多个基于查询与分析结果的统计图表,构成场景化的分析大盘。
  • 预置仪表盘:面向 CLB、TKE、COS 等腾讯云生态产品,CLS 提供预置仪表盘,实现常见监控能力的开箱即用。
  • 模板变量:模板变量支持数据源变量与快速过滤,实现仪表盘图表统计分析对象与维度的快速切换,千变万化支持更复杂的业务场景。

告警

日志内出现较多错误日志或系统及业务指标超出阈值时秒级告警,主动发现系统及业务异常问题。

  • 通知渠道:支持电话、短信、邮件、微信、企业微信和自定义接口回调(可对接钉钉及飞书)。
  • 多维分析:触发告警时可针对原始日志进行额外的检索分析,将结果附加在告警通知中,辅助定位告警原因。