新建投递 DLC 任务

最近更新时间:2025-07-18 10:15:22

我的收藏
日志采集到 CLS 后,支持将日志数据投递至腾讯云 DLC 中进行分析。

前提条件

开通日志服务,创建 日志集日志主题,并成功采集到日志数据。
开通腾讯云 DLC 服务,并且在待投递日志主题的地域已创建数据库和数据表,请参见 SQL 编辑器
子账号/协作者需要主账号授权,授权步骤参见 基于 CAM 管理权限,授权策略请参见 CLS 访问策略模板
已授权给腾讯云 CLS 服务角色访问 DLC 的权限。大部分用户通过控制台操作时,系统会引导用户完成授权;小部分用户跨过控制台,直接调用 API,这部分客户需要手动去授权,详情请参见 投递任务角色授权

操作步骤

2. 在左侧导航栏中,选择日志主题
3. 单击需要投递的日志主题 ID/名称,进入日志主题管理页面。
4. 单击投递到 DLC 页签,进入投递到 DLC 配置页面,单击新建
基本配置项
解释说明
规则
是否必填
投递任务名称
配置投递任务的名称。
-
必填
服务日志
将投递任务运行的监控指标,写入免费的日志主题 cls_service_log 中。
-
投递模式
当前仅支持批投递
-
投递文件大小
需要投递的原始日志文件的大小,和投递间隔时间配合使用,哪个条件先触发,就按照哪个规则去压缩文件,然后投递到 DLC。
例如:配置256M,15分钟,如果文件大小在5分钟就到了256MB,那么文件大小这个条件先触发投递任务。
5 - 256,单位:MB
投递间隔时间
指定间隔多长时间,触发一次投递,和投递文件大小配合使用,哪个条件先触发,就按照哪个规则去压缩文件,然后投递到 DLC。
例如:配置256MB,15分钟,如果文件大小在15分钟时仅为200MB,间隔时间这个条件先触发投递任务。
300 - 900,单位:s
5. 单击下一步,进入数据表配置
数据表配置项
解释说明
规则
是否必填
数据目录
当前仅支持 DataLakeCatalog。
-
数据库
选择您的 DLC 数据库。
-
必填
数据表
选择您的 DLC 数据表。
-
必填
数据字段
日志字段名:将 CLS 日志中的字段,和对应的 DLC 字段做 Mapping,如下图中日志:仅支持填写 JSON 中的第一层节点的 key 如 app_name,不支持 details.request_id 这种嵌套节点。
{
"__TIMESTAMP__":1742543131,
"app_name": "cls",
"category": "Filter",
"latency": "11",
"details": {
"request_id": "123456dfg",
"trace_id": "0610df2a4c5d9cdf"
}
}
预览日志:点击该按钮,您可在页面右侧,查看日志样例(JSON 格式),方便您选择字段并填写至日志字段名中。
数据表字段名:系统从 DLC 中读取,此处不支持修改,请前往 DLC 进行修改。
字段类型:DLC 字段的类型,此处不支持修改,请前往 DLC 进行修改。
解析失败赋值:当字段值解析失败后,使用该值写入 DLC。您可选择使用 Null、空(空字符串)或者自定义的值。其中自定义的值建议使用如下取值:
bool:FALSE
bigint:-1
Int:0
String:''"(空字符串)
JSON:{}
Date:1970-01-01
TIMESTAMP:2025-01-01 00:00:00
说明:
如果日志中某个字段不存在,该字段在 DLC 侧为 Null 值。
如果字段解析指定类型失败:
解析失败赋值为 Null,该字段在 DLC 侧为 Null 值。
解析失败赋值为非 Null,会再按该赋值进行解析,解析成功则写入,否则该字段在 DLC 侧体现为 Null 值。
开启映射:是否将该字段映射至 DLC 表,如果不需要,请关闭开关。
NULL/空/自定义值
必填
分区字段
日志字段名:日志的字段名称,用于 Mapping DLC 的分区字段,如果您的 DLC 表按照时间进行分区,那么建议您此处使用日志时间字段,即__TIMESTAMP__。
数据表字段名:分区字段,系统从 DLC 中读取,此处不支持修改,请前往 DLC 进行修改。
字段类型:分区字段的类型,系统从 DLC 中读取,此处不支持修改,请前往 DLC 进行修改。
-
必填
时间分区格式
时间分区格式,配置示例和参数详情请参见如下说明。
说明:
仅当 MaxCompute 分区列中的日志字段名配置为__TIMESTAMP__,时间分区格式才生效。
建议使用天进行分区,分钟和秒会导致 DLC 表的分区数目太多。
时间分区格式即示例如下:
%Y-%m-%d-%H-%M:2025-07-09-20-30
%Y-%m-%d-%H:2025-07-09-20
%Y-%m-%d:2025-07-09
%Y-%m:2025-07
和时区配合使用
时区(UTC)
该时区用于格式化时间以及时间分区。
和时间分区配合使用
6. 单击提交,完成新任务的配置。