存算引擎配置

最近更新时间:2025-06-24 15:08:42

我的收藏
对存算引擎进行配置,包括 EMR 引擎配置、TCHouse-P 引擎配置、TCHouse-X 引擎配置和 DLC 引擎配置。

EMR 引擎配置

基本信息管理:支持配置 EMR(弹性 MapReduce)引擎的基本信息,包括 YARN 队列设置和刷新。
账号配置:支持配置 EMR 引擎的任务提交账号和账号映射关系,可对接不同的认证方式的 EMR 集群。


账号认证方式

Simple
仅需配置用户名。
LDAP
当前 EMR 集群开启了 LDAP 认证,以 LDAP 用户身份来提交任务。在当前认证下需要配置 LDAP 用户密码。
Kerberos
当前 EMR 集群开启了 Kerberos 认证,以 Kerberos 账号身份来提交任务。该认证下需要用户从 EMR 上下载 keytab 文件,并配置映射关系,以便调度系统以合法的身份提交任务。
说明:
当 EMR 集群开启了 Kerberos 认证,Hadoop 用户的 keytab 文件在 EMR 不支持直接下载,需要手动在 emr 客户端创建,创建命令如下:
kadmin.local add_principal -pw xxx hadoop@EMR-XXXXXXXX
kadmin.local ktadd -k /tmp/hadoop.keytab -norandkey hadoop@EMR-XXXXXXXX
xxx 是 keytab 的密码
下载生成的 hadoop.keytab 配置文件,上传到 WeData,可参考下图。
注意:创建的 principal 为两段式,emr 服务节点中 hadoop 三段式的 principal(hadoop/_HOST@EMR-XXXXXXXX)不可直接下载使用。







账号映射

任务提交账号为子账号时需要选择统一的提交子账号,并且配置对应的账号映射关系,用户可以在此新建、编辑或删除账号映射。



TCHouse-P 引擎配置

支持 云数据仓库 TCHouse-P 接入配置。


TCHouse-X 引擎配置

支持 云数据仓库 TCHouse-X 接入配置。


DLC 引擎配置

支持 数据湖计算 DLC 接入配置。