多EMR-Presto集群共享EMR-Hive集群配置方案

EMR的某些客户的数据仓库使用EMR-Hive存储,presto连接hive快速ad-hoc查询,但是有些场景下不同的业务部门有各自不同的使用presto查询需求,多EMR-Presto集群共享EMR-Hive集群配置方案可以满足这种需求。

多EMR-Presto集群共享EMR-Hive集群

假设EMR-Hive的集群为A集群,新增的EMR-Presto集群为B+集群,设置A集群为B+共享集群,只需要把B+集群的presto-hive配置变更即可。具体操作方案如下:

1.拷贝A集群hdfs-site.xml,core-site.xml到B集群hadoop用户权限目录下,这里以/home/hadoop为例子,

#cp hdfs-site.xml /home/hadoop 
#cp core-site.xml /home/hadoop
#chown hadoop:hadoop  /home/hadoop/hdfs-site.xml
#chown hadoop:hadoop  /home/hadoop/core-site.xml

2. 把hdfs-site.xml和core-site.xml文件都分发到集群所有节点下的相同目录

3.更改/usr/local/service/presto/etc/catalog/hive.properties配置

connector.name=hive-hadoop2
hive.metastore.uri=thrift://10.1.1.101:7004,thrift://10.1.1.140:7004
hive.config.resources=//home/hadoop//core-site.xml,/home/hadoop/hdfs-site.xml
hive.allow-drop-table=true

其中,hive.metastore.uri更改为A集群的hive-server2的地址

hive.config.resources更改为刚刚设置的/home/hadoop/hdfs-site.xml和/home/hadoop/core-site.xml

4.把/usr/local/service/presto/etc/catalog/hive.properties分发到presto集群的所有节点

5.在emr控制台重启presto集群,包括coordinator和worker节点。重启操作可参考,在集群管理的更多里重启组件:

https://cloud.tencent.com/document/product/589/10860

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

独家 | 一文读懂Hadoop(二)HDFS(下)

5.1 用户命令 hadoop集群用户的常用命令。 5.1.1 classpath 打印获取Hadoop jar和所需库所需的类路径。如果无参数调用,则打印由命...

46960
来自专栏机器人网

搞电气的,安全继电器原理及使用你知多少?

安全继电器,顾名思义,主要功能就是保证安全。在我们的日常工作中,此类继电器常见于电气设备控制系统中,尤其是国外的进口设备中最为常见。特别是在设备突然故障时,在故...

22030
来自专栏Hadoop实操

如何在Redhat中安装R的包及搭建R的私有源

继上一章如何在Redhat中配置R环境后,我们知道对于多数企业来说是没有外网环境的,在离线环境下如何安装R的包,能否搭建R的私有源对R的包进行管理。

90770
来自专栏简单聊聊Spark

Spark性能调优篇七之JVM相关参数调整

        由于Spark程序是运行在JVM基础之上的,所以我们这一篇来讨论一下关于JVM的一些优化操作。在开始JVM调优操作之前,我们先通过一张图看一下J...

44710
来自专栏mini188

Apache Ignite高性能分布式网格框架-初探

Apache Ignite初步认识 今年4月开始倒腾openfire,过程中经历了许多,更学到了许多。特别是在集群方面有了很多的认识,真正开始认识到集群的概念及...

83760
来自专栏Jerry的SAP技术分享

Cordova应用的JavaScript代码和自定义插件代码的调试

我之前写过三篇Cordova相关的技术文章。当我们使用Cordova将自己开发的前端应用打包安装到手机上后,可能会遇到需要调试Cordova应用的时候。

14540
来自专栏hotqin888的专栏

局域网linux系统CentOS上部署engineercms、docker和onlyoffice实现文档协作

等了好久,这次终于下决心在局域网部署了linux系统,并安装docker和load了onlyoffice,利用engineercms进行资料管理和文档协作。

25530
来自专栏企鹅号快讯

STM32CubeMX入门教程(一)

01 STM32CubeMX软件简介 ABOUT STM32CubeMX STM32CubeMX是ST公司推出的一种自动创建单片机工程及初始化代码的工具,适用于...

1.8K90
来自专栏晓晨的专栏

CanalSharp-mysql数据库binlog的增量订阅&消费组件Canal的.NET客户端

CanalSharp是阿里巴巴开源项目mysql数据库binlog的增量订阅&消费组件 Canal 的.NET客户端,关于什么是 Canal?又能做什么?我会在...

17230
来自专栏人人都是极客

内存调试的相关分析

我们知道外设访问内存需要通过DMA进行数据搬移,关于cpu, cache, device, dma, memory的关系可以通过下图说明:

19530

扫码关注云+社区

领取腾讯云代金券