存算引擎配置

最近更新时间:2024-01-12 10:05:21

我的收藏
对存算引擎进行配置,包括 EMR 引擎配置、TCHouse-P 引擎配置和 DLC 引擎配置。

EMR 引擎配置

基本信息管理:支持配置 EMR(弹性 MapReduce)引擎的基本信息,包括 yarn 队列设置和刷新。
账号配置:支持配置 EMR 引擎的任务提交账号和账号映射关系,可对接不同的认证方式的 EMR 集群。




账号认证方式

无认证 表示当前 EMR 集群没有开启认证,WeData 统一按照 hadoop 用户提交。
Linux 账号认证 表示当前 EMR 集群开启了 Simple 认证,以 Linux 用户来提交任务,该认证方式存在两种可能:
1.1 WeData 云账号和 Linux 账号一致:此时选择任务提交账号为“责任人”时,则无须单独配置映射。
1.2 WeData 云账号和 Linux 账号不一致:此时选择任务提交账号为“责任人”时,需单独配置映射,否则 Linux 上因为没有云账号的用户而导致提交失败。
账号认证 表示当前 EMR 集群开启了 LDAP 认证,以 LDAP 用户身份来提交任务。与 Linux 账号认证不同的是,在当前认证下需要额外配置 LDAP 用户密码。
Kerberos 账号认证 表示当前 EMR 集群开启了 Kerberos 认证,以 Kerberos 账号身份来提交任务。该认证下需要用户从 EMR 上下载 keytab 文件,并配置映射关系,以便调度系统以合法的身份提交任务。
说明:
当 EMR 集群开启了 Kerberos 认证,hadoop 用户的 keytab 文件在 emr 不支持直接下载,需要手动在 emr 客户端创建,创建命令如下:
kadmin.local add_principal -pw xxx hadoop@EMR-XXXXXXXX
kadmin.local ktadd -k /tmp/hadoop.keytab -norandkey hadoop@EMR-XXXXXXXX
xxx 是 keytab 的密码
下载生成的 hadoop.keytab 配置文件,上传到 wedata,可参考下图。
⚠️ 创建的 principal 为两段式,emr 服务节点中 hadoop 三段式的 principal(hadoop/_HOST@EMR-XXXXXXXX)不可直接下载使用。







账号映射

任务提交账号为子账号时需要选择统一的提交子账号,并且配置对应的账号映射关系,用户可以在此新建、编辑或删除账号映射。



TCHouse-P 引擎配置

支持 云数据仓库 TCHouse-P 接入配置。




DLC 引擎配置

支持 数据湖计算 DLC 接入配置。