日志服务(Cloud Log Service,CLS)提供云上的日志采集和检索的解决方案。可采集多渠道、多平台、不同数据源的日志数据,五分钟快速便捷接入,产品具备日志采集、检索分析、仪表盘、告警等功能,全面提升您的问题定位、指标监控的效率,大大降低日志运维门槛。同时,您也可以对日志数据进行 ETL、计算分析、并将结果投递或消费到您的业务平台中。
功能概览
日志服务主要提供以下功能:


日志采集
日志服务目前支持 LogListener 、API、Kafka 协议、对象存储(Cloud Object Storage,COS)导入等多种采集方式:
Loglistener 实时采集:使用腾讯云 LogListener 采集日志,便捷安装,服务稳定可靠安全、支持大部分主流 Linux 操作系统,兼顾高性能与低资源占用。
通过 API:无需安装 LogListener,直接调用 API 上传日志,支持多种语言。
Kafka 协议:支持使用 Kafka Producer SDK 上传日志到 CLS。
COS 导入:将腾讯云对象存储中的数据导入到日志服务。
日志存储
根据用户对日志不同的检索时延性及日志处理能力需求,提供两种存储:
实时存储:适用于用户对日志有统计分析的需求,提供日志的秒级检索,实时统计分析,实时监控,流式消费等应用能力。
低频存储:适用于访问频率较低且无统计分析需求的日志,如审计归档日志。低频存储提供全文检索日志的能力,满足用户对历史日志的回溯检索,归档存储等诉求。长期存储下,整体使用成本相比实时存储降低80%。
日志检索分析
针对存储在 CLS 的日志进行实时检索分析,帮助用户快速定位异常日志、统计系统及业务指标。
日志检索:使用关键词按全文或字段检索日志。
统计分析:使用 SQL 灵活统计日志内的系统及业务指标并通过图表进行展示,兼容 SQL 92标准,支持200+ SQL 函数。例如按省份统计业务请求数,按时间查询请求错误率变化趋势。
性能优异:秒级返回查询结果,支持亿级别日志检索分析。
仪表盘
仪表盘提供数据分析全局视图,您可以在仪表盘查看多个基于查询与分析结果的统计图表。
仪表盘:仪表盘支持保存多个基于查询与分析结果的统计图表,构成场景化的分析大盘。
预置仪表盘:面向 CLB、TKE、COS 等腾讯云生态产品,CLS 提供预置仪表盘,实现常见监控能力的开箱即用。
模板变量:模板变量支持数据源变量与快速过滤,实现仪表盘图表统计分析对象与维度的快速切换,千变万化支持更复杂的业务场景。
告警
日志内出现较多错误日志或系统及业务指标超出阈值时秒级告警,主动发现系统及业务异常问题。
通知渠道:支持电话、短信、邮件、微信、企业微信和自定义接口回调(可对接钉钉及飞书)。
多维分析:触发告警时可针对原始日志进行额外的检索分析,将结果附加在告警通知中,辅助定位告警原因。
日志数据处理
日志过滤清洗:脏数据清洗,按条件过滤日志。
日志结构化:将非结构化的日志处理成结构化数据,方便您后续使用 SQL 来计算分析日志。
日志计算分析:使用定时 SQL 任务,对日志进行计算,如日志聚合。
日志分发:按照一定的规则,将日志分发到不同的目标日志主题中。
日志投递与消费
您可以将日志投递至腾讯云产品中,如对象存储 COS、消息中间件 Ckafka,也可以将 CLS 日志消费到其它大数据组件。
日志投递至 COS:用于日志归档、日志的离线计算。
日志投递至 Ckafka:适用于日志的实时处理和计算。
日志实时消费:消费日志数据到大数据组件,例如 Flink、Logstash、Flume。