有奖捉虫:办公协同&微信生态&物联网文档专题 HOT
管理员对数据源进行元数据采集后才能进行可视化管理,采集粒度支持到库,每个数据库仅可创建一个采集任务。
限制条件
当前版本支持用户进行 Hive、HBase、DLC、Doris、StarRocks、MySQL、PostgreSQL、Oracle、SQL Server、Greenplum 十种数据类型采集。
仅项目管理员有权限对所属项目下数据源配置采集任务。
单个数据源仅可配置一个采集任务。
Hive 数据源可在创建项目时配置自动创建元数据采集任务,该任务默认每10分钟采集一次,命名规则为 hive_${emrinstanceid}_meta_task。



采集任务列表展示所有采集任务的任务名称、类型、数据源、采集库、创建人、创建时间、采集计划、运行状态(可手动开启/停止)、最近执行时间及操作(查看运行详情和日志,管理员可以进行编辑或删除)。

新建采集任务操作步骤

步骤一:新建采集任务

单击 新建采集任务,选择数据源类型。




步骤二:设置采集对象

指定每个元数据采集任务对应的数据源。



参数
说明
任务名称
采集任务的名称,不可为空,命名支持以字母、中文开头,可包含字母、中文、数字、减号(-)和下划线(_)。
描述
选填,对采集任务的描述信息。
数据库
一个数据库只能对应一个采集任务,已经被采集的库不可选择,选择“全部”会按照数据源粒度采集。
数据源
采集任务对应的数据源名称,该数据源可在项目管理模块内查看。
归属项目
采集的数据归属到选择的管理项目后,项目成员可进行数据管理操作。
指定表负责人
选择项目中已有成员。
注意:
每个采集任务最多支持绑定到 WeData 项目下的单个数据源,数据源不可重复绑定采集任务。

步骤三:运行配置

选择对应的执行资源组及采集周期(可选:每10分钟/小时/日/周/月/一次性),并手动勾选是否立即运行。




采集任务详情

单击采集任务操作列下的详情,可以查看采集数据源、采集实例、采集库、归属项目、执行资源与采集计划。




采集任务日志

单击采集任务操作列下的日志,跳转到对应采集任务的 实例运维 页面,页面中展示采集任务以往的执行实例,并且提供查看实例详情日志的功能。