有奖捉虫:云通信与企业服务文档专题,速来> HOT
日志服务(Cloud Log Service,CLS)是一款支持日志(Log)、指标(Metric)数据的采集、ETL、检索分析、可视化及告警的一体化可观测 SAAS 服务。

功能概览

日志服务主要提供以下功能:




日志采集

日志服务目前支持 LogListener 、API、Kafka 协议、对象存储(Cloud Object Storage,COS)导入等多种采集方式:
Loglistener 实时采集:使用腾讯云 LogListener 采集日志,便捷安装,服务稳定可靠安全、支持大部分主流 Linux 操作系统,兼顾高性能与低资源占用。
通过 API:无需安装 LogListener,直接调用 API 上传日志,支持多种语言。
Kafka 协议:支持使用 Kafka Producer SDK 上传日志到 CLS。
COS 导入:将腾讯云对象存储中的数据导入到日志服务。

日志存储

根据用户对日志不同的检索时延性及日志处理能力需求,提供两种存储:
实时存储:适用于用户对日志有统计分析的需求,提供日志的秒级检索,实时统计分析,实时监控,流式消费等应用能力。
低频存储:适用于访问频率较低且无统计分析需求的日志,如审计归档日志。低频存储提供全文检索日志的能力,满足用户对历史日志的回溯检索,归档存储等诉求。长期存储下,整体使用成本相比实时存储降低80%。

日志检索分析

针对存储在 CLS 的日志进行实时检索分析,帮助用户快速定位异常日志、统计系统及业务指标。
日志检索:使用关键词按全文或字段检索日志。
统计分析:使用 SQL 灵活统计日志内的系统及业务指标并通过图表进行展示,兼容 SQL 92标准,支持200+ SQL 函数。例如按省份统计业务请求数,按时间查询请求错误率变化趋势。
性能优异:秒级返回查询结果,支持亿级别日志检索分析。

指标采集与存储

兼容 Prometheus 生态,提供如下指标采集与存储功能:
指标采集:支持 Prometheus Remote Write 协议,可使用兼容该协议的各类采集器采集指标并上报至指标主题,例如 VMAgent 及Telegraf。
日志转指标:原始日志可通过执行定时 SQL 统计,获取其中的关键指标,例如基于日志统计接口吞吐量及耗时。
指标存储:兼容 Prometheus 指标数据模型,可使用 PromQL 对指标进行查询和统计计算。

仪表盘

仪表盘提供丰富的图表类型,支持用户统计分析日志数据与指标数据,并通过图表进行展示。
多种图表类型:支持时序图、饼图、单值图、桑基图、地图、词云、全局过滤与变量配置等。
订阅仪表盘:支持订阅仪表盘,可以将仪表盘以图片的形式导出。用邮件、企业微信等方式定期发送给指定的对象。
交互事件:图表自定义交互事件功能,支持单击图表内容触发交互打开检索分析页面、仪表盘页面、第三方 URL 等。

DataSight

DataSight 是 CLS 日志服务提供的独立控制台,支持免腾讯云账号使用日志服务,支持自定义的账号密码登录或免登录。适用于多人多团队共用 CLS 日志服务的场景。

告警

日志内出现较多错误日志或系统及业务指标超出阈值时秒级告警,主动发现系统及业务异常问题。
通知渠道:支持电话、短信、邮件、微信、企业微信、钉钉、飞书和自定义接口回调。
多维分析:触发告警时可针对原始日志进行额外的检索分析,将结果附加在告警通知中,辅助定位告警原因。

日志数据处理

数据加工:日志过滤清洗、脱敏、结构化、分发。 对非结构化的日志而言,通过数据加工处理成结构化数据,可用于后续的 SQL 分析、仪表盘、告警等。数据加工支持按照指定的规则,将原始日志分发到不同的日志主题。
定时 SQL 分析:将日志转为指标(Metric),然后使用 Metric 做仪表盘、告警,查询性能更高,存储量更低。日志 OLAP,按照指定时间和窗口调度离线 SQL 分析任务,生成结果数据,比如日报表、周报表。

日志投递与消费

您可以将日志投递至腾讯云产品中,如对象存储 COS、消息中间件 Ckafka,也可以将 CLS 日志消费到其它大数据组件。
日志投递至 COS:日志深度归档、大数据计算。
日志投递至 Ckafka:日志的实时处理和计算。
Kafka 协议消费:支持原生 Kafka 协议,轻松对接大数据组件,如 Flink、Logstash、Flume,也可使用 Python/Java SDK 消费。