原文格式投递

最近更新时间:2019-03-25 10:48:54

概述

您可以通过 日志服务控制台,将数据按照日志原文格式投递到对象存储 COS,下面将为您详细介绍如何创建原文格式日志投递任务。

日志服务投递对象存储 COS,目前支持的基本格式有:CSV 格式、JSON 格式。而原文格式投递是在基本格式投递基础上,通过配置特殊参数从而达到还原日志原文的效果。不同的日志原文格式是否支持原文投递,请见下表:

日志原文格式 是否支持原文投递
单行全文 支持,参考 单行全文原文投递
多行全文 支持,参考 多行全文原文投递
JSON 格式 不支持。
分隔符(CSV)格式 不一定,参考 分隔符格式原文投递
完全正则 不支持。

操作步骤

单行(或多行)全文原文投递

单行全文或多行全文可在 CSV 格式投递 的基础上,通过高级配置的特殊参数达到按原文投递的效果。

  1. 按照 CSV 格式投递 的指引说明完成第一步“基本配置”。
  2. 在高级配置中,投递格式选择 csv,并在键值名称(key)填写 __CONTENT__,分隔符选择空格,转义符选择空格,无效字段填充选空,关闭“首行 Key”,如下图:
    image
    配置项详细说明如下:
配置项 填写 解释说明
键值名称(key) __CONTENT__ 单行或多行全文系统会默认 __CONTENT__ 作为键名称(key),日志原文作为值(value),原文投递时键名称填入 __CONTENT__
分隔符 空格 对于单行或多行全文而言,分隔符选择空格。
转义符 为防止因转义符改变原文内容, 转义符选择空。
无效字段 无效字段选择空。
首行Key 原文投递无需在 CSV 文件的首行增加字段名的描述。
  1. 单击【确定】,即可看到投递状态已开启。
    img

分隔符格式原文投递

注意:

CSV 格式投递 仅支持有限的分隔符(空格、制表符、逗号、分号、竖线),所以当且仅当日志原文中的分隔符与 CSV 格式投递所支持的分隔符一致时,才可以按原文投递,否则不可以投递原文。

  1. 按照 CSV 格式投递 的指引说明完成第一步“基本配置”。
  2. 在高级配置中,投递格式选择 CSV,按如下参数说明配置进行。
配置项 填写内容 解释说明
键值名称(key) 键(key)名称 按顺序填写原文中每组键值对所对应的键(key)名称。
分隔符 列表选择 选择原文对应的分隔符,若无相同的分隔符则不能按原文投递。
转义符 为防止因转义符改变原文内容, 转义符选择空即可。
无效字段 无效字段选择空。
首行 Key 原文投递无需在csv 文件的首行增加字段名的描述。

例如,原始日志为:

10.20.20.10;[Tue Jan 22 14:49:45 CST 2019 +0800];GET /online/sampleHTTP/1.1;127.0.0.1;200;647;35;http://127.0.0.1/

定义分隔符为分号(;),并为每个字段定义如下键值(key)名称,如图所示:
image
此时若需按原文投递,则需在投递高级配置时选择 CSV 格式的分隔符为分号(;),完整配置填写如图所示:
image

  1. 单击【确定】,即可看到投递状态已开启。
    img