数据开发治理平台 WeData

如何配置数据开发中的各项参数?

数据开发模块中各项参数配置详见 参数配置

哪些子账号可进行 CAM 角色授权?

策略名称
策略说明
作用
AdministratorAccess
该策略允许您管理账户内所有用户及其权限、财务相关的信息、云服务资产
可管理子账号权限
可登录 WeData 控制台
可创建 WeData 项目
QCloudResourceFullAccess
该策略允许您管理账户内所有云服务资产
可登录 WeData 控制台
可创建 WeData 项目
ReadOnlyAccess
该策略允许您只读访问账户内所有支持接口级鉴权或资源级鉴权的云服务资产
可登录 WeData 控制台
不可创建 WeData 项目

如何获取/查看 EMR VPC?

进入腾讯云 EMR 控制台,选择集群对应所在的地域及 ID。进入集群详情页 > 基本信息 > 实例信息页面,查看集群网络信息


说明
EMR 的网络信息默认使用"--"隔开 ID 和显示名称,可复制"--"前部分(红框内)信息进行搜索。

如何获取/查看数据源 VPC?

以 MySQL 为例,进入对应腾讯云 MySQL 控制台,选择对应实例所在的地域及 ID。进入实例详情页 > 实例详情页面,查看实例网络信息。



MySQL 整库同步时,运行后立刻单击“暂停”,任务状态一直显示"操作中"?

原因分析:整库同步任务开始运行后,立刻单击暂停,任务状态始终处于"操作中"。后端数据在持续同步, 已经远远超过源表实际大小 解决方案:当 MySQL 整库同步任务问题处于 snapshot 阶段时,不支持“暂停”操作。

任务“暂停”后点击“继续”操作出现部分数据重复?

原因分析:当前版本,实时任务暂停之后的恢复将从上个 checkpoint 开始,因此存在部分数据重复属于正常现象。

实时同步过程中,删除数据源、更改数据源结构等操作后,任务显示“运行中”,但实际上并没有同步?

原因分析:在实时任务运行过程中,出现下面情况,任务仍然显示运行中,但是实际上没有数据同步。
在 MySQL 源数据库中删除数据源。例如,MySQL 到 Hive 的同步过程中,在 MySQL 源数据库中将 MySQL 或 Hive 的表删除。
在 MySQL 源数据库中更改数据源结构。例如,MySQL 到 Hive 的同步过程中,在 MySQL 源数据库中将 MySQL 或 Hive 的表删除或修改部分字段。 删除数据源和更改数据结构操作都属于异常问题,WeData 暂时无法获取任务的异常状态。
解决方案:在获取到异常日志后,针对上述两种情况的解决方法如下:
1. 删除数据源。用户需要在 WeData 实时同步界面重新选择新的数据源,配置好映射关系,然后单击提交,选择“保留作业状态数据,继续运行”。
2. 更改数据源结构。用户需要在WeData实时同步界面,单击刷新,获取最新数据源结构,配置好映射关系,然后单击提交,选择“保留作业状态数据,继续运行”。

MySQL 分库分表同步表的 schema 不同,任务显示“运行中”却未同步任务成功?

原因分析:由于 MySQL 分库分表同步时若配置表之间的 schema 不同,并且建立映射关系的字段不存在于某张表中,因此虽然任务状态显示“运行中”但实际未成功执行。同时,由于 Oceanus 目前采用任务出错时一直重启的策略,因此任务持续处于“运行中”的状态。
解决方案:针对上面第2种不成功的情况,需要在 WeData 实时同步界面,将不符合要求的表排除,配置好映射关系,然后单击提交,选择“保留作业状态数据,继续运行”。

MySQL 整库同步时,出现“Oceanus job config length exceeds 100k limit”提醒?

问题描述:MySQL 整库同步时,出现“Oceanus job config length exceeds 100k limit”提醒。 原因分析:为保证整库迁移任务的性能,当前版本中任务配置总体长度不可超过100k。若包含过多的数据表或者表字段总数过大,系统则提示限制。 解决方案:建议单个整库迁移任务中不要配置超过20张表,可分割为多个整库迁移或分库分表任务。

自定义字段配置是否支持复杂类型?

当前版本不支持 Array、Map、Struct 等复杂类型,仅支持基本类型。

提交任务时候报错“ache.calcite.sql.validate.SqlValidatorException: Cast function cannot convert value of type ...”?

问题描述:提交实时同步任务时候,系统报错“[TencentCloudSDKError] Code=FailedOperation, Message=ache.calcite.sql.validate.SqlValidatorException: Cast function cannot convert value of type ...”。 原因分析:实时同步的来源和目标字段之间的类型无法转换。 解决方案: 1. 请检查配置的来源和目标端之间的字段类型是否匹配,具体数据来源和目标端间类型转换请参见 同步数据源。 2. 若任务为 MySQL-Ckafka 单表同步任务中,请检查是否建立了管理 pkNames_wedata_di 、sqlType_wedata_di 与目标端映射关系。由于当前版本 Ckafka 字段不支持 Array、Map、Struct 等复杂类型,因此无法将 pkNames_wedata_di 、sqlType_wedata_di 参数写入 Ckafka 目标端。

子账号通过运维跳转到腾讯云 Oceanus 控制台,提示无“PassRole”?




解决方案:请参考 Oceanus 权限管理 文档。