数据开发治理平台 WeData

已采纳

问题描述：MySQL 整库同步时，出现“Oceanus job config length exceeds 100k limit”提醒。原因分析：为保证整库迁移任务的性能，当前版本中任务配置总体长度不可超过100k。若包含过多的数据表或者表字段总数过大，系统则提示限制。解决方案：建议单个整库迁移任务中不要配置超过20张表，可分割为多个整库迁移或分库分表任务... 展开详请

自定义字段配置是否支持复杂类型？

已采纳

当前版本不支持 Array、Map、Struct 等复杂类型，仅支持基本类型。

当前版本不支持 Array、Map、Struct 等复杂类型，仅支持基本类型。

提交任务时候报错“ache.calcite.sql.validate.SqlValidatorException: Cast function cannot convert value of type ...”？

已采纳

问题描述：提交实时同步任务时候，系统报错“TencentCloudSDKError Code=FailedOperation, Message=ache.calcite.sql.validate.SqlValidatorException: Cast function cannot convert value of type ...”。原因分析：实时同步的来源和目标字段之间的类型无法转换。解决方案：请检查配置的来源和目标端之间的字段类型是否匹配，具体数据来源和目标端间类型转换请参见同步数据源。若任务为 MySQL-Ckafka 单表同步任务中，请检查是否建立了管理 pkNames_wedata_di 、sqlType_wedata_di 与目标端映射关系。由于当前版本 Ckafka 字段不支持 Array、Map、Struct 等复杂类型，因此无法将 pkNames_wedata_di 、sqlType_wedata_di 参数写入 Ckafka 目标端。... 展开详请

子账号通过运维跳转到腾讯云 Oceanus 控制台，提示无“PassRole”？

已采纳

解决方案：请参考 Oceanus 权限管理文档。

解决方案：请参考 Oceanus 权限管理文档。

MySQL 整库同步时，运行后立刻单击“暂停”，任务状态一直显示"操作中"？

已采纳

原因分析：整库同步任务开始运行后，立刻单击暂停. 任务状态始终处于"操作中"。后端数据在持续同步, 已经远远超过源表实际大小

解决方案：当 MySQL 整库同步任务问题处于 snapshot 阶段时，不支持“暂停”操作。

原因分析：整库同步任务开始运行后，立刻单击暂停. 任务状态始终处于"操作中"。后端数据在持续同步, 已经远远超过源表实际大小解决方案：当 MySQL 整库同步任务问题处于 snapshot 阶段时，不支持“暂停”操作。

任务“暂停”后点击“继续”操作出现部分数据重复？

已采纳

原因分析：当前版本，实时任务暂停之后的恢复将从上个 checkpoint 开始，因此存在部分数据重复属于正常现象。

原因分析：当前版本，实时任务暂停之后的恢复将从上个 checkpoint 开始，因此存在部分数据重复属于正常现象。

实时同步过程中，删除数据源、更改数据源结构等操作后，任务显示“运行中”，但实际上并没有同步？

已采纳

原因分析：在实时任务运行过程中，出现下面情况，任务仍然显示运行中，但是实际上没有数据同步。

解决方案：在获取到异常日志后，针对上述两种情况的解决方法如下：

原因分析：在实时任务运行过程中，出现下面情况，任务仍然显示运行中，但是实际上没有数据同步。解决方案：在获取到异常日志后，针对上述两种情况的解决方法如下：

MySQL 分库分表同步表的 schema 不同，任务显示“运行中”却未同步任务成功？

已采纳

原因分析：由于 MySQL 分库分表同步时若配置表之间的 schema 不同，并且建立映射关系的字段不存在于某张表中，因此虽然任务状态显示“运行中”但实际未成功执行。同时，由于 Oceanus 目前采用任务出错时一直重启的策略，因此任务持续处于“运行中”的状态。解决方案：针对上面第2种不成功的情况，需要在 WeData 实时同步界面，将不符合要求的表排除，配置好映射关系，然后单击提交，选择“保留作业状态数据，继续运行”。... 展开详请