有奖捉虫:云通信与企业服务文档专题,速来> HOT

背景信息

Agent 是数据集成提供的一种轻量日志采集器,它可以通过产品界面化方式无代码完成安装、管理以及运维等全生命周期管理。当使用腾讯云 CVM 或者自建服务器 进行业务部署时,可通过配置 Agent 来采集 服务器 内日志及文件信息投递到下游目标端。

前提条件



操作步骤

步骤一:创建采集任务

进入配置中心 > 实时同步任务页面后,单击新建日志采集任务。输入任务名称并选择配置模式,支持表单画布两种模式。




步骤二:配置数据来源

在数据源类型中选择 CVM 类型,并配置该数据源参数信息。



参数
说明
采集器组
选择当前项目可用的采集器,若没有可以单击新建采集器创建。
服务器分类
选择服务器所归属分类,选择后任务将采集该分类下所有服务器。
文件路径
手动输入数据来源的文件路径。
黑名单
默认关闭,开启后配置的黑名单文件路径默认不采集。
读取方式
CVM 来源支持两种读取方式:
全量:从日志文件内容第一行开始读取。
增量:从日志末尾开始读取最新内容。
单条记录结束标记
默认回车选项,若选择正则表达式,则需要手动输入正确的正则表达式。
内容提取模式
支持三种内容提取模式:
全内容:每条日志记录内容被解析为键值为 __CONTENT__ 的一行完全字符串。
JSON:每条日志记录内容解析为json键值对,键值需在数据字段内定义。
分割:根据指定的分割符解析日志内容,键值需在数据字段内定义(支持竖线、逗号、分号分割)。

步骤三:配置数据目标

日志采集目前已支持大部分主流数据库连接

步骤四:配置字段映射

配置好数据来源和数据目标后,则会展示来源表和目标表的字段信息,我们需要对字段进行映射,支持同名映射和同行映射两种映射方式,并可以对字段进行排序和配置。



单击字段配置则对字段进行配置:
表单配置:可以对字段名称、类型进行更改,也可以删除字段和新增字段。
注意:
文本或 json 提取内容将覆盖除内置元数据字段外的数据字段。内置元数据字段不支持修改和编辑。



文本解析:对已有字段进行解析,也可以手动新增字段。
注意:
一行默认为一个字段及类型,字段名称和类型使用设定的分割符号分割,如age int。提醒:首尾空行会被撷取,空行会被忽略。



json 解析:数据为 JSON 格式时(如{"age":10,"name":"demo"}),系统将自动提取字段名并解析值类型。
注意:
当前系统仅支持解析部分类型,可在表单模式下确认并调整解析结果。重复字段保留最后一条。




步骤五:配置任务属性

单击右侧任务属性进入,配置正确的基本属性和集成资源组即可。




步骤六:任务提交




序号
参数
说明
1
提交
将当前任务提交至生产环境,提交时根据当前任务是否有生产态任务可选择不同运行策略
若当前任务无生效的线上任务,即首次提交或线上任务处于“失败”状态,可直接提交
若当前任务存在“运行中”或“暂停”状态的线上任务需选择不同策略。停止线上作业将抛弃之前任务运行位点,从头开始消费数据,保留作业状态将在重启后从之前最后消费位点继续运行。



说明:单击立即启动任务将在提交后立即开始运行,否则需要手动触发才会正式运行
2
锁定/解锁
默认创建者为首个持锁者,仅允许持锁者编辑任务配置及运行任务。若锁定者5分钟内没有编辑操作,其他人可点击图标抢锁,抢锁成功可进行编辑操作
3
前往运维
根据当前任务名称快捷跳转至任务运维页面
4
保存
预览完成后,可单击保存按钮保存整库任务配置。仅保存的情况下,任务将不会提交至运维中心

后续步骤

完成任务配置后,您可以对已创建的采集任务进行运维及监控告警,如对任务配置监控报警,并查看任务运行的关键指标等。详情请参见实时任务运维