背景信息：
日志采集通过 Agent、SDK 方式主动上报 CVM 云实例、自建服务器或TKE内的日志文件数据至外部目标端。Agent 是 InLong 提供的轻量型日志采集器，可自动安装并运行于腾讯云 TKE、CVM 等云集群服务内，主动上报提供指定文件数据并实时同步到目标端。同时，inlong 还提供了 Java 以及 C++ SDK 进行数据上报。
条件与限制：
1. 已配置好来源及目标端的数据源以备后续任务使用。详情请参见 数据源管理与配置方式。
2. 已购买数据集成资源组。详情请参见配置集成资源组。
3. 已完成数据集成资源组与数据源的网络连通。详情请参见 集成连通性与使用规划。
4. 已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。
5. 若数据源配置的数据库账号不具备读写权限将导致任务运行失败，请根据实际读写场景配置具备相应权限的账号。
操作步骤
步骤一：创建采集器
步骤二：创建同步任务
进入配置中心 > 实时同步任务页面后，单击新建日志采集任务。输入任务名称并选择配置模式。
任务配置目前提供了表单和画布两种配置模式：
表单模式适用于贴源层数据同步，仅支持使用源端函数进行数据转换。
画布模式提供转换节点，支持在数据同步过程加入定制化的复杂数据转换。
配置模式1：画布模式
在列表中单击任务名称，即可进入任务配置页面，置界面总体包含任务操作栏、数据节点菜单、链路配置区三个部分：
序号 | 参数说明 | |
1 | | 任务操作栏。对整个任务生效的操作，包括保存、提交、测试运行、停止、解锁、前往运维等。 |
2 | | 数据节点菜单。根据链路对象分类为读取、写入、转换节点，支持拖拽方式直接添加节点至画布。 |
3 | 3-1 | 数据链路。由读取、写入、转换节点及节点间连线构成的数据链路，代表了同步任务内数据流向。 |
| 3-2 | 任务属性配置，此配置信息对全局任务生效，主要包含基本属性和资源配置。 |
配置模式2：表单配置
序号 | 参数说明 | |
1 | | 任务操作栏。对整个任务生效的操作，包括保存、提交、测试运行、停止、解锁、前往运维等。 |
2 | 2-1 | 数据来源及目标：配置任务读取和写入的数据源、库、表以及读写方式。 |
| 2-2 | 字段映射：设置来源和目标端数据对应关系，后续任务仅同步具有映射关系的字段之间的数据。 |
3 | | 任务属性配置，此配置信息对全局任务生效，主要包含基本属性和资源配置。 |
步骤三：配置数据来源
不同数据来源配置步骤略有差异，详情如下：
步骤四：配置数据目标
数据来源 | 已支持目标数据源 |
TKE / SDK / CVM | |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
步骤五：配置字段映射
1. 配置好数据来源和数据目标后，则会展示来源表和目标表的字段信息，我们需要对字段进行映射，支持同名映射和同行映射两种映射方式，并可以对字段进行排序和配置。
2. 单击字段配置则对字段进行配置：
表单配置：可以对字段名称、类型进行更改，也可以删除字段和新增字段。
注意：
文本或 JSON 提取内容将覆盖除内置元数据字段外的数据字段。内置元数据字段不支持修改和编辑。
文本解析：对已有字段进行解析，也可以手动新增字段。
注意：
一行默认为一个字段及类型，字段名称和类型使用设定的分割符号分割，如 age int。提醒：首尾空行会被撷取，空行会被忽略。
JSON 解析：数据为 JSON 格式时（如{"age":10,"name":"demo"}），系统将自动提取字段名并解析值类型。
注意：
当前系统仅支持解析部分类型，可在表单模式下确认并调整解析结果。重复字段保留最后一条。
步骤六：配置任务属性
单击右侧任务属性，进入基本属性界面，配置正确的基本属性和集成资源组即可。
步骤七：任务提交
序号 | 参数 | 说明 |
1 | 提交 | 将当前任务提交至生产环境，提交时根据当前任务是否有生产态任务可选择不同运行策略。 若当前任务无生效的线上任务，即首次提交或线上任务处于“失败”状态，可直接提交。 若当前任务存在“运行中”或“暂停”状态的线上任务需选择不同策略。停止线上作业将抛弃之前任务运行位点，从头开始消费数据，保留作业状态将在重启后从之前最后消费位点继续运行。  说明： 单击立即启动，任务将在提交后立即开始运行，否则需要手动触发才会正式运行。 |
2 | 锁定/解锁 | 默认创建者为首个持锁者，仅允许持锁者编辑任务配置及运行任务。若锁定者5分钟内没有编辑操作，其他人可点击图标抢锁，抢锁成功可进行编辑操作。 |
3 | 前往运维 | 根据当前任务名称快捷跳转至任务运维页面。 |
4 | 保存 | 预览完成后，可单击保存按钮，保存整库任务配置。仅保存的情况下，任务将不会提交至运维中心。 |
后续步骤