WeData 支持集成腾讯云数据仓库 TCHouse-X ( Tencent Cloud House-X, TCHouse-X ),在数据开发中提供PB级数据高性能处理与分析。本文介绍 WeData 在 TCHouse-X 上进行任务开发的注意事项。
使用背景
腾讯云数据仓库 TCHouse-X 提供强大的 MPP 与 BSP 执行框架, 结合全新的向量化执行引擎、以及基于代价和自适应的优化器, 实现PB级数据高性能处理与分析。配置 TCHouse-X 集群,详见 项目配置。TCHouse-X 的更多信息,详见 腾讯云数据仓库TCHouse-X。WeData 数据开发中支持 SQL 脚本使用 TCHouse-X 数据源以及将 TCHouse-X 作为计算任务节点编排在数据开发工作流中。
使用流程
准备工作
准备类别 | 操作说明 |
腾讯云数据仓库 TCHouse-X | 为了保证在 WeData 中顺利使用 TCHouse-X 数据完成数据开发,需要保证 TCHouse-X 集群满足基本的配置。在腾讯云数据仓库 TCHouse-X 产品中创建 TCHouse-X 集群。 ![]() |
WeData | WeData 在存算引擎配置中需要绑定 TCHouse-X 实例。 ![]() 绑定集群时需要集群用户名与密码,在对应 TCHouse-X 集群下的权限管理中可以创建。 ![]() |
任务开发
创建工作流
任务开发基于数据工作流编排实现计算任务的流程化执行,创建计算任务前需要创建数据工作流,然后在工作流中编排计算任务运行流程。
创建 TCHouse-X 节点
WeData 基于 TCHouse-X 集群进行任务开发,将 TCHouse-X 集群与 WeData 中的项目进行绑定后,会在 WeData 中接入 TCHouse-X 系统数据源,详情请参见 TCHouse-X 引擎接入。目前编排空间的 TCHouse-X 任务仅支持 TCHouse-X 的系统源。
任务开发
完成 TCHouse-X 引擎与 WeData 项目绑定后,在已创建的数据工作流中创建 TCHouse-X 类型计算任务,在任务节点的配置过程中,使用 TCHouse-X 提供的系统数据源进行任务开发、调试。
任务提交
使用 TCHouse-X 系统源数据配置调试无误后,保存对应的计算任务,再将计算任务所在的工作流提交发布后,即可在运维中心调度运行。