离线周期同步任务支持周期性更新表分区数据,本实践介绍 SQL Server 表数据定时更新至 Hive 分区。
适用场景
周期性创建或更新 Hive 分区表数据,将数据表中内容按照周期任务实例计划调度时间写入到对应一级或多级分区。
操作步骤
1. 创建离线同步任务,并从离线同步列表中单击对应任务名称进入画布配置界面。
2. 拖拽 SQL Server 读取节点,配置数据来源信息并在数据字段模块内配置时间参数。
![](https://qcloudimg.tencent-cloud.cn/image/document/4ace5716c608b2d80eacd2e266eae4c2.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/4ace5716c608b2d80eacd2e266eae4c2.png)
3. 拖拽 Hive 写入节点,配置数据源信息并在字段映射模块内建立时间参数与分区字段映射。
![](https://qcloudimg.tencent-cloud.cn/image/document/d5be56ac7f13d8242366ebc6df70e934.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/d5be56ac7f13d8242366ebc6df70e934.png)
4. 保存任务信息,进行测试运行或提交至运维中心。