LogListener 新架构性能说明

最近更新时间:2026-01-23 16:31:42

我的收藏

概述

本文档用于说明腾讯云日志服务(CLS)LogListener 新架构(版本 ≥ 3.4.0)在日志采集性能与稳定性方面的整体表现。
采集速率显著提升:在正则、多行等计算密集型场景下,新架构采集速率提升多倍。
低负载资源优化:在常规写入速率下,CPU 资源消耗较老架构降低约 30%。
隔离稳定性增强:通过对关键链路进行系统性优化,有效化解高压场景下的采集瓶颈,确保数据上报的连续性。
下文将从文件采集速率及资源消耗等维度,针对 LogListener 对新架构的性能表现进行说明,对比参照了 LogListener 老架构(2.x版本)和某主流友商产品的采集器。

测试环境

实例规格:标准型 S6 | 4核 CPU | 16GB 内存。
公网带宽:200Mbps。
存储:增强型 SSD 云硬盘。
写入速率:10MB/s、20MB/s、60MB/s、100MB/s。
对比对象:LogListener 老架构(2.9.20版本)、主流友商采集器。

性能对比(文件采集场景)

文件采集速率

在单行、多行、正则、分隔符、JSON 等典型日志采集场景下,对 LogListener 新架构、老架构以及主流友商采集器进行了对比测试,整体结果如下。

单行全文模式

在各档写入速率下,新老架构及友商采集性能基本持平,三者表现接近。


多行全文解析模式

在低写入速率(10MB/s - 20MB/s)场景下,新老架构及友商采集性能基本持平;在日志写入速率超过60MB/s的高压场景中,新架构采集性能显著领先,新架构采集性能相较老架构和主流友商采集器提升约1.5 - 2倍。


单行正则解析模式

在低写入速率(10MB/s - 20MB/s)场景下,新老架构及友商性能无明显差异;在写入速率超过60MB/s的高压场景中,新架构采集性能较老架构提升约2.5倍;在写入速率达到100MB/s时,新架构采集速率约为友商的2.6倍。


多行正则解析模式

在低写入速率(10MB/s - 20MB/s)场景下,新架构与老架构性能持平,略优于友商;在写入速率超过60MB/s时,新架构采集性能较老架构和友商均提升约40%。


分隔符解析模式

在低写入速率(10MB/s - 20MB/s)下性能各方基本持平;当写入速率达到60MB/s及以上时,新架构采集性能相较老架构提升约3 - 3.5倍,与主流友商产品处于同一水平。


JSON 解析模式

在各档写入速率下,新老架构及友商采集性能基本持平;在写入速率达到100MB/s时,新架构略低于友商,略高于老架构。


资源消耗

CPU资源使用说明

以单行全文日志场景为例,展示各个采集器在不同写入速率下的 CPU 资源消耗情况。
在低写入速率(10MB/s - 20MB/s)下,新架构 CPU 消耗明显低于老架构(降幅约 30%);高写入速率下三方接近,新架构整体表现稳定。

写入速率
新架构
老架构
友商
10MB/s
2.18%
3.11%
2.64%
20MB/s
3.33%
4.67%
3.51%
60MB/s
7.57%
7.24%
4.31%
100MB/s
8.23%
7.80%
6.40%

内存资源使用说明

以单行全文日志场景为例,展示各采集器在不同写入速率下的资源消耗情况。
整体来看,在各档写入速率下,新架构的内存占用相对老架构有所提升。其原因在于新架构为应对高压写入、网络抖动及下游写入波动等场景,引入了更完善的内存缓冲机制,内存占用虽有增加,但换取了更稳定的持续上报能力与更高的处理性能,有效避免关键链路阻塞扩散,为业务流程的顺畅运行提供资源保障。

写入速率
新架构
老架构
友商
10MB/s
0.44%
0.19%
0.20%
20MB/s
0.70%
0.18%
0.19%
60MB/s
2.35%
0.16%
0.17%
100MB/s
3.87%
0.16%
0.19%

总结

LogListener 新架构在高写入速率与复杂解析场景下,相对老架构而言提升了日志采集吞吐能力与采集完整性,在多行、正则及分隔符等高压场景中表现更加稳定。在资源使用方面,新架构整体 CPU 使用效率优于老架构,虽然内存占用提升但换取了更稳定的持续上报能力与更高的处理性能。