社区首页 >专栏 >CLS「数据加工」：实时处理腾讯会议千亿级日志

CLS「数据加工」：实时处理腾讯会议千亿级日志

原创

日志服务CLS小助手

修改于 2022-01-04 12:38:52

77100

代码可运行

文章被收录于专栏：日志服务CLS日志服务CLS

运行总次数：0

代码可运行

作者：hermine

导语：云原生日志服务（Cloud Log Service，CLS）是腾讯云提供的一站式日志数据解决平台，提供了从日志采集、日志存储到日志检索，图表分析、监控告警、日志投递等多项服务，协助用户通过日志来解决业务运维、服务监控、日志审计等场景问题。

2021年Q4重磅推出「数据加工」，2022.3.15前免费，欢迎大家使用该功能！

数据加工—海量日志实时处理

首先，数据加工是什么呢？

CLS平台在采集到日志数据之后，对杂乱无章的文本日志进行归类、结构化、清洗过滤脏数据等处理，处理后的日志数据可以应用于日志的检索分析、仪表盘、告警等功能。处理原始日志的过程，就是数据加工。

对于用户而言，数据加工的目标可以是：

提取结构化的数据，方便后续检索分析、生成仪表盘等。
日志过滤，对日志进行减肥瘦身。丢弃不需要的日志数据，节约存储成本、流量成本。
敏感数据脱敏，例如将用户的身份证、手机号码脱敏。
日志分类投递，例如按照日志级别：ERROR、WARNING、INFO 将日志分类，然后分发到不同的日志主题。
日志富化，根据已存在的字段值，富化出新的字段，比如0755、010、021，富化出深圳、上海、北京。

接下来，本文会重点介绍腾讯会议和某内容社区头部客户的案例，在实际应用中理解数据加工的作用。

客户案例

腾讯会议——千亿日志实时处理

腾讯会议的数据服务团队需要从客户端的海量日志数据(千亿条/天) 上报中, 实时从中获取需要的部分数据, 按照规则提取和处理后进行回流分析和业务判断。

一开始, 客户调研自建大数据流处理平台来进行日志数据处理的方案。

该方案首先需要进行整个平台的搭建，并且需要解决日志采集-->Flink集群部署-->编写Java数据处理逻辑等问题。在业务接入和使用中，用户还要关注该集群的运维和性能。整个项目实施周期长，维护成本高。

后来，客户了解到CLS数据加工的能力, 在体验了CLS数据加工可视化界面、了解测试了DSL函数能力后，客户选择使用CLS数据加工来完成上述需求。

用户无需关注平台建设、运维以及复杂的Flink Java编程，简单、灵活、低成本的使用数据加工功能即可完成业务需求。

根据以上分析，我们不难看出：

在处理日志方面，比起自建大数据流处理平台，CLS数据加工具有开箱即用无建设成本、业务接入使用门槛更低、运维成本更低的优势。

在性能方面，腾讯会议的千亿日志数据压测，也凸显了CLS数据加工的性能优越。

某头部内容社区平台——日志过滤

该客户的原始日志量很大，费用较高，为降低成本，客户仅想保留关键业务相关的日志。

通过CLS数据加工函数，客户可过滤掉不需要的日志，最后日志量缩减为30%，真正做到了为用户省钱。

那具体可以节省多少费用呢？

假定原始日志100GB/天，经过数据加工的日志过滤之后，缩减为30GB/天，假定客户的日志存储是30天，开启了部分键值索引，而且索引流量刚好和写入日志主题的流量相等（为方便计算），从第31天开始的费用大致如下图，费用从每100GB 122元/天下降至70.75元/天，最终下降至原始价格的59%。

注：表中的价格为刊例价

操作手册

在了解了两个典型客户案例后，不妨跟随我一起进入实战演练，CLS为没有日志的同学也准备了试用功能哦。

详细操作步骤请见：

https://cloud.tencent.com/document/product/614/63940

1. 新建数据加工

数据加工的入口在腾讯云CLS控制台，填写完加工任务名称、源日志主题、目标日志主题之后，就可以进入加工语句编辑页面。

2. 编辑加工语句

1）如果您的日志主题中有数据：新建数据加工任务之后，它会自动加载原始日志主题的数据，在编辑框中编写你的DSL加工函数语句，就可以完成实时日志流的处理。

2）如果您暂时没有日志：下方左侧是原始日志/自定义数据两个标签页，第二标签页是自定义数据标签页，填入JSON格式的日志，就可以试用数据加工了。

DSL函数生成器：可以查看DSL的解释说明、复制DSL函数的示例到自己的编辑框，修改后使用。
保存数据加工任务。任务会持续运行，加工日志流，直到用户手动停止任务。

下面我们来举个栗子吧。

场景描述

小王将日志采集到 CLS，是单行文本格式。现在小王想将日志结构化，从文本中提取日志时间、日志级别、操作、URL 信息，便于后续的检索分析。

场景分析

梳理一下小王的加工需求，加工思路如下：

1）使用正则提取日志时间、日志级别、URL。

2）{...}中的内容是操作的详情，可以通过正则提取。

原始日志

{    "content": "[2021-11-24 11:11:08,232][328495eb-b562-478f-9d5d-3bf7e][INFO] curl -H 'Host: ' http://abc.com:8080/pc/api -d {\"version\": \"1.0\",\"user\": \"CGW\",\"password\": \"123\",\"interface\": {\"Name\": \"ListDetail\",\"para\": {\"owner\": \"1253\",\"orderField\": \"createTime\"}}}"}

DSL加工函数

fields_set("Action",regex_select(v("content"),regex="\{[^\}]+\}",index=0,group=0))
fields_set("loglevel",regex_select(v("content"),regex="\[[A-Z]{4}\]",index=0,group=0))。
fields_set("logtime",regex_select(v("content"),regex="\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}",index=0,group=0))
fields_set("Url",regex_select(v("content"),regex="([a-z]{3}).([a-z]{3}):([0-9]{4})",index=0,group=0))
fields_drop("content")

DSL加工函数详解

新建一个字段 Action，使用正则{[^}]+}，匹配{...}。

fields_set("Action",regex_select(v("content"),regex="\{[^\}]+\}",index=0,group=0))

新建一个字段 loglevel，使用正则[A-Z]{4}可以匹配 INFO。

fields_set("loglevel",regex_select(v("content"),regex="\[[A-Z]{4}\]",index=0,group=0))。

新建一个字段 logtime，使用正则d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}匹配2021-11-24 11:11:08。

fields_set("logtime",regex_select(v("content"),regex="\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}",index=0,group=0))

新建一个字段 Url，使用正则[a-z]{3}.[a-z]{3}匹配 abc.com，[0-9]{4}匹配8080。

fields_set("Url",regex_select(v("content"),regex="([a-z]{3}).([a-z]{3}):([0-9]{4})",index=0,group=0))

丢弃 content 字段。

fields_drop("content")

加工结果

{"logtime":"2021-11-2411:11:08,232","loglevel":"[INFO]","Url":"abc.com:8080","Action":"{\"version\": \"1.0\",\"user\": \"CGW\",\"password\": \"123\",\"interface\": {\"Name\": \"ListDetail\",\"para\": {\"owner\": \"1253\",\"orderField\": \"createTime\"}"}