优步使用压缩日志处理器 （CLP） 将日志记录成本降低了 169 倍

Uber最近发布了如何使用压缩日志处理器（CLP）大幅降低日志记录成本的发布。CLP 是一种能够无损压缩文本日志并在不解压缩的情况下搜索它们的工具。它实现了 Uber 日志数据 169 倍的压缩率，节省了存储、内存和磁盘/网络带宽。

Uber 每天运行 250，000 个 Spark 分析作业，每天生成高达 200TB 的日志。这些日志对于使用 Spark 的平台工程师和数据科学家至关重要。分析日志可以提高应用程序的质量、排查故障或速度变慢、分析趋势、监视异常等。因此，Uber 的 Spark 用户经常要求将日志保留期从三天延长到一个月。但是，如果Uber将保留期延长到一个月，其HDFS存储成本将从每年18万美元增加到每年1.8M美元。

相反，通过部分实施CLP，Uber在将保留期延长到一个月后，将存储成本降低到每年1万美元。作者Jack （Yu） Luo和Devesh Agrawal解释了他们的工作：

我们找到了 CLP，这是一种具有前所未有的压缩（通用压缩器的 2 倍）的工具，同时保留了无需完全解压缩即可搜索日志的能力。CLP 需要一些自定义，因为它设计为一次压缩一批文件，而我们的日志记录库一次只写入一个日志文件。具体来说，我们将 CLP 的算法分为两个阶段：阶段 1 适用于一次压缩一个日志文件，同时实现适度压缩;阶段 2 将这些压缩文件聚合为 CLP 的最终格式。

将 CLP 压缩部署分为两个阶段 优步 来源：https://www.uber.com/en-DE/blog/reducing-logging-cost-by-two-orders-of-magnitude-using-clp/

Luo与CLP背后的其他研究人员，多伦多大学的Kirk Rodrigues和Ding Yuan以及YScope一起，在他们的研究论文中描述了CLP：

广泛使用的日志搜索工具（如Elasticsearch和Splunk Enterprise）对日志进行索引以提供快速的搜索性能，但索引的大小与原始日志大小在同一数量级内。常用的日志存档和压缩工具（如 Gzip）提供高压缩率，但搜索存档日志是一个缓慢而痛苦的过程，因为它首先需要解压缩日志。相比之下，CLP 的压缩比明显高于所有常用的压缩器，但提供快速的搜索性能，可与 Elasticsearch 和 Splunk Enterprise 相媲美甚至更好。[...]CLP 的收益来自于使用经过调整的、特定于域的压缩和搜索算法，该算法利用了文本日志中的大量重复。因此，CLP 能够对归档日志进行高效的搜索和分析，如果没有它，这是不可能实现的。

上图显示了 CLP 如何分四个步骤压缩日志消息。在第一步中，CLP 确定性地将消息解析为时间戳、变量值列表和日志类型。接下来，CLP 对时间戳和非字典变量进行编码。然后，CLP 构建一个字典来删除重复变量的重复数据。最后，CLP 将日志消息转换为由时间戳、变量值列表（变量字典 ID 或编码的非字典值）和日志类型 ID 组成的编码消息表。缓冲许多日志消息后，使用 Zstandard 压缩每一列（按面向列的顺序）。

未来，Uber 工程师计划部署 CLP 的第 2 阶段压缩，将存储成本降低 2 倍。此外，他们计划使用列式存储格式（如 Parquet）存储压缩日志，可能与 Presto 集成，以便使用 SQL 查询交互式分析日志。