前提条件
开通腾讯云 DLC 服务,并且在待投递日志主题的地域已创建数据库和数据表,请参见 SQL 编辑器。
子账号/协作者需要主账号授权,授权步骤参见 基于 CAM 管理权限,授权策略请参见 CLS 访问策略模板。
已授权给腾讯云 CLS 服务角色访问 DLC 的权限。大部分用户通过控制台操作时,系统会引导用户完成授权;小部分用户跨过控制台,直接调用 API,这部分客户需要手动去授权,详情请参见 投递任务角色授权。
操作步骤
1. 登录 日志服务控制台。
2. 在左侧导航栏中,选择日志主题。
3. 单击需要投递的日志主题 ID/名称,进入日志主题管理页面。
4. 单击投递到 DLC 页签,进入投递到 DLC 配置页面,单击新建。
基本配置项 | 解释说明 | 规则 | 是否必填 |
投递任务名称 | 配置投递任务的名称。 | - | 必填 |
服务日志 | 将投递任务运行的监控指标,写入免费的日志主题 cls_service_log 中。 | - | 否 |
投递模式 | 当前仅支持批投递。 | - | 否 |
投递文件大小 | 需要投递的原始日志文件的大小,和投递间隔时间配合使用,哪个条件先触发,就按照哪个规则去压缩文件,然后投递到 DLC。 例如:配置256M,15分钟,如果文件大小在5分钟就到了256MB,那么文件大小这个条件先触发投递任务。 | 5 - 256,单位:MB | 否 |
投递间隔时间 | 指定间隔多长时间,触发一次投递,和投递文件大小配合使用,哪个条件先触发,就按照哪个规则去压缩文件,然后投递到 DLC。 例如:配置256MB,15分钟,如果文件大小在15分钟时仅为200MB,间隔时间这个条件先触发投递任务。 | 300 - 900,单位:s | 否 |
5. 单击下一步,进入数据表配置。
数据表配置项 | 解释说明 | 规则 | 是否必填 |
数据目录 | 当前仅支持 DataLakeCatalog。 | - | 否 |
数据库 | 选择您的 DLC 数据库。 | - | 必填 |
数据表 | 选择您的 DLC 数据表。 | - | 必填 |
数据字段 | 日志字段名:将 CLS 日志中的字段,和对应的 DLC 字段做 Mapping,如下图中日志:仅支持填写 JSON 中的第一层节点的 key 如 app_name,不支持 details.request_id 这种嵌套节点。
预览日志:点击该按钮,您可在页面右侧,查看日志样例(JSON 格式),方便您选择字段并填写至日志字段名中。 数据表字段名:系统从 DLC 中读取,此处不支持修改,请前往 DLC 进行修改。 字段类型:DLC 字段的类型,此处不支持修改,请前往 DLC 进行修改。 解析失败赋值:当字段值解析失败后,使用该值写入 DLC。您可选择使用 Null、空(空字符串)或者自定义的值。其中自定义的值建议使用如下取值: bool:FALSE bigint:-1 Int:0 String:''"(空字符串) JSON:{} Date:1970-01-01 TIMESTAMP:2025-01-01 00:00:00 说明: 如果日志中某个字段不存在,该字段在 DLC 侧为 Null 值。 如果字段解析指定类型失败: 解析失败赋值为 Null,该字段在 DLC 侧为 Null 值。 解析失败赋值为非 Null,会再按该赋值进行解析,解析成功则写入,否则该字段在 DLC 侧体现为 Null 值。 开启映射:是否将该字段映射至 DLC 表,如果不需要,请关闭开关。 | NULL/空/自定义值 | 必填 |
分区字段 | 日志字段名:日志的字段名称,用于 Mapping DLC 的分区字段,如果您的 DLC 表按照时间进行分区,那么建议您此处使用日志时间字段,即__TIMESTAMP__。 数据表字段名:分区字段,系统从 DLC 中读取,此处不支持修改,请前往 DLC 进行修改。 字段类型:分区字段的类型,系统从 DLC 中读取,此处不支持修改,请前往 DLC 进行修改。 | - | 必填 |
时间分区格式 | 时间分区格式,配置示例和参数详情请参见如下说明。 说明: 仅当 MaxCompute 分区列中的日志字段名配置为__TIMESTAMP__,时间分区格式才生效。 建议使用天进行分区,分钟和秒会导致 DLC 表的分区数目太多。 时间分区格式即示例如下: %Y-%m-%d-%H-%M:2025-07-09-20-30 %Y-%m-%d-%H:2025-07-09-20 %Y-%m-%d:2025-07-09 %Y-%m:2025-07 | 和时区配合使用 | 否 |
时区(UTC) | 该时区用于格式化时间以及时间分区。 | 和时间分区配合使用 | 否 |
6. 单击提交,完成新任务的配置。