数据集成

最近更新时间:2024-04-19 17:14:21

我的收藏

1、如何处理 ClickHouse 到 DLC 同步报网络超时

问题现象:
用户同步 ClickHouse 数据到 DLC,数据量很小的时候可以成功,数据表较大的情况会报出网络超时。



问题定位:
1. 通过登录执行环境 POD,Telnet 目标数据源(ClickHouse)连接信息可以连通,同时登录也是成功的,则排除网络故障。
2. 推测是 ClickHouse 数据量大或者高并发导致的读取超时,需要在 云联网 进一步降低并发。



3. 并发限制后,如果发现还是一样的报错,执行 ClickHouse 数据读取 SQL 误报错异常,同时也提高了读取任务超时时间的情况下,问题依然存在。则需要进一步了解客户执行环境资源组与 ClickHouse 的 VPC 是否一致,如果不一致,两边网络需要通过通过云联网(CCN)打通。
4. 确认 CCN 产品跨区域网络打通需要的公网带宽,用户是否通过云联网打通了跨区域的两个 VPC,但是没有开通公网带宽。



5. 这时 CCN 为了方便测试,默认开通10Kb的流量,这解释了为什么小数据量同步和网络测试都是正常的,但是数据量大的情况下会报出网络问题。



6. 问题原因:
执行资源组与数据源不在相同 VPC ,通过 CCN 打通跨区域的两个 VPC 后没有开通公网带宽,默认 CCN 支持小于10Kb的流量,超过后断流,导致小数据量可行,大数据量不行。
7. 解决方案:
通过 CCN 添加公网带宽后解决问题。

2、如何处理需要访问公网但网络不通的问题

问题现象:

问题定位:
通过日志定位。
问题原因:
数据源使用了公网,资源组的网络默认不开公网。
解决方案:
将资源组的子网添加 NAT 网关。详情参考NAT 网关配置通过 NAT 网关访问外网
说明:
如果是主账号的资源组,可以把资源组使用子网的 路由策略 更换为 EKS 即可。

3、如何处理数据同步运行失败时,提示数据源无法连通的情况

问题现象:
离线同步提示无法连接数据库,但其实数据库是可以连通的。



问题定位:
WeData 数据集成资源组的网络和 CDB 不在同一个 VPC 下,网络不互通。
问题原因
数据集成执行资源组和数据源都在用户的 VPC 网络下,需要确保是同一个 VPC 网络,否则网络无法连通,执行资源组无法正常同步数据。如果是不同的 VPC 网络。
解决方案:
采用 云联网对等连接 打通跨 VPC 的网络互通,如果数据源是公网实例,则需要配置 NAT 网关

4、如何处理Hive On COS表写入报权限错误

问题现象:
离线同步,hive数据源,表数据存储在cos中,数据写入报错:java.lang.Exception: Retrieve the file metadata file failure。



问题定位:
查看账户是否关联WeData_QCSRole角色,以及WeData_QCSRole角色是否设置 COS 的 CAM 策略。
问题原因:
集成任务hive on cos写入数据,通过WeData_QCSRole角色在CAM获取临时密钥,WeData_QCSRole 角色下面没有添加 COS 相关的 CAM 策略,导致获取的临时密钥没有权限去读写 COS 桶。
解决方案:
CAM 的角色页面,搜索"wedata",找到WeData_QCSRole,看关联策略中是否包含了COS。如果没有,添加上 QcloudCOSFullAccess 即可。