存算引擎配置

最近更新时间:2026-03-25 12:17:51

我的收藏
对存算引擎进行配置,包括 EMR 引擎配置、TCHouse-P 引擎配置、TCHouse-X 引擎配置和 DLC 引擎配置。

EMR 引擎配置

基本信息管理:支持配置 EMR(弹性 MapReduce)引擎的基本信息,包括 YARN 队列设置和刷新。
账号配置:支持配置 EMR 引擎的任务提交账号和账号映射关系,可对接不同的认证方式的 EMR 集群。


账号认证方式

Simple
仅需配置用户名。
LDAP
当前 EMR 集群开启了 LDAP 认证,以 LDAP 用户身份来提交任务。在当前认证下需要配置 LDAP 用户密码。
Kerberos
当前 EMR 集群开启了 Kerberos 认证,以 Kerberos 账号身份来提交任务。该认证下需要用户从 EMR 上下载 keytab 文件,并配置映射关系,以便调度系统以合法的身份提交任务。
说明:
当 EMR 集群开启了 Kerberos 认证,Hadoop 用户的 keytab 文件在 EMR 不支持直接下载,需要手动在 emr 客户端创建,创建命令如下:
kadmin.local add_principal -pw xxx hadoop@EMR-XXXXXXXX
kadmin.local ktadd -k /tmp/hadoop.keytab -norandkey hadoop@EMR-XXXXXXXX
xxx 是 keytab 的密码
下载生成的 hadoop.keytab 配置文件,上传到 WeData,可参考下图。
注意:创建的 principal 为两段式,emr 服务节点中 hadoop 三段式的 principal(hadoop/_HOST@EMR-XXXXXXXX)不可直接下载使用。







账号映射

任务提交账号为子账号时需要选择统一的提交子账号,并且配置对应的账号映射关系,用户可以在此新建、编辑或删除账号映射。



EMR StarRocks 引擎配置

WeData 支持绑定 EMR StarRocks 集群,实现 StarRocks 数据仓库的开发与治理。绑定后可使用数据探索、数据开发、数据集成、数据质量、数据服务、数据资产、元数据管理等功能模块。
集群类型
支持版本
EMR on CVM StarRocks
2.5.3、3.1.2、3.2.9

注意:
EMR on TKE 不支持 StarRocks 集群,必须选择 EMR on CVM 类型。

配置步骤

1. 步骤一:选择集群。
1.1 在存算引擎配置页面,选择 EMR on CVM 类型。
1.2 集群名称下拉列表中,选择带“StarRocks”标签的集群。
2. 步骤二:填写连接信息。
选择 StarRocks 集群后,需要填写以下必填项:
字段
说明
是否必填
数据库名称
StarRocks 默认访问的数据库
必填
用户名
StarRocks 登录用户名
必填
密码
StarRocks 登录密码
必填
3. 步骤三:测试连通性。
单击测试,验证连接信息是否正确。

认证方式说明

StarRocks 引擎使用用户名密码认证方式,不支持 Kerberos 认证。与 Hadoop 引擎不同,无需配置 keytab 文件或账号映射。

多集群绑定规则

公有云环境下,一个项目支持同时绑定一个 Hadoop 集群和一个 StarRocks 集群:
说明:
同类型集群只能绑定一个。如果已绑定 StarRocks 集群,再次添加时 StarRocks 类型选项会禁用。

绑定后自动创建的资源

绑定 StarRocks 集群后,系统会自动创建:
资源类型
说明
EMR StarRocks 数据源
类型为“系统源”,可用于数据集成、数据探索等模块
元数据采集任务
自动采集 StarRocks 库表元数据

编辑配置

绑定完成后,如需修改配置,可按如下步骤操作:
1. 进入项目 > 项目管理 > 存算引擎配置。
2. 选择 EMR 标签页,找到已绑定的 StarRocks 集群。
3. 单击编辑,可修改数据库名称、用户名、密码。
4. 单击测试,验证连通性后保存。

TCHouse-P 引擎配置

支持 云数据仓库 TCHouse-P 接入配置。


TCHouse-X 引擎配置

支持 云数据仓库 TCHouse-X 接入配置。


DLC 引擎配置

支持 数据湖计算 DLC 接入配置。