EMR的某些客户的数据仓库使用EMR-Hive存储,presto连接hive快速ad-hoc查询,但是有些场景下不同的业务部门有各自不同的使用presto查询需求,多EMR-Presto集群共享EMR-Hive集群配置方案可以满足这种需求。
假设EMR-Hive的集群为A集群,新增的EMR-Presto集群为B+集群,设置A集群为B+共享集群,只需要把B+集群的presto-hive配置变更即可。具体操作方案如下:
1.拷贝A集群hdfs-site.xml,core-site.xml到B集群hadoop用户权限目录下,这里以/home/hadoop为例子,
#cp hdfs-site.xml /home/hadoop
#cp core-site.xml /home/hadoop
#chown hadoop:hadoop /home/hadoop/hdfs-site.xml
#chown hadoop:hadoop /home/hadoop/core-site.xml
2. 把hdfs-site.xml和core-site.xml文件都分发到集群所有节点下的相同目录
3.更改/usr/local/service/presto/etc/catalog/hive.properties配置
connector.name=hive-hadoop2
hive.metastore.uri=thrift://10.1.1.101:7004,thrift://10.1.1.140:7004
hive.config.resources=//home/hadoop//core-site.xml,/home/hadoop/hdfs-site.xml
hive.allow-drop-table=true
其中,hive.metastore.uri更改为A集群的hive-server2的地址
hive.config.resources更改为刚刚设置的/home/hadoop/hdfs-site.xml和/home/hadoop/core-site.xml
4.把/usr/local/service/presto/etc/catalog/hive.properties分发到presto集群的所有节点
5.在emr控制台重启presto集群,包括coordinator和worker节点。重启操作可参考,在集群管理的更多里重启组件:
https://cloud.tencent.com/document/product/589/10860
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。