如何启用Impala的动态资源池

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在Cloudera Manager中动态资源池分为Yarn的动态资源池和Impala的动态资源池两种。Fayson在前面有多篇文章介绍了Yarn动态资源池的使用。本篇文章Fayson主要介绍如何通过CM启用Impala的动态资源池及介绍。

  • 内容概述

1.启用Impala动态资源池

2.动态资源池说明

3.总结

  • 测试环境

1.CM和CDH版本为5.15

2.启用Impala动态资源池


1.使用管理登录Cloudera Manager进入Impala服务配置界面

2.在左侧类别中过滤“Admission Control”,配置如下选项

保存配置后重启Impala服务,以上就完成了Impala动态资源池的启用。

3.进入Impala动态资源池管理界面

4.点击”Impala Admission Control”,进入资源池配置界面

3.动态资源池说明


在Impala Admission Control配置界面也同样提供了资源池的创建功能、计划模式以及放置规则。

1.Impala资源池管理,可以创建资源池对每个资源池进行资源配置

创建资源池

2.计划模式,通过创建不同的计划模式,使集群在不同的时间段使用不同的资源池配置

创建计划规则

3.放置规则,通过创建放置规则,是用户提交的作业运行在不同的资源池

创建放置规则

4.总结


1.Impala的Admission Control功能主要是为了限制用户提交SQL的并发数,以避免集群繁忙内存不足的情况。当集群的查询太多或查询需要的总内存太多,达到一个阈值时,提交的SQL将进入等待状态,当集群资源可用时才会开始查询。

2.Impala的动态资源池与Yarn动态资源池一致,可用创建多个不同的资源池、创建不同的执行计划以及设置放置规则。

3.Impala中的资源池的层级只支持两级,父级资源池均为root

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-11-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏喵了个咪的博客空间

[喵咪大数据]Hadoop单机模式

千里之行始于足下,学习大数据我们首先就要先接触Hadoop,上节介绍到Hadoop分为Hadoop-HDFS,Hadoop-YARN,Hadoop-Mapred...

3256
来自专栏行者悟空

Spark之集群概述

1483
来自专栏我是攻城师

Hive集成Tez让大象飞起来

3368
来自专栏行者悟空

Hadoop 2.x 伪分布式环境搭建

1142
来自专栏AILearning

Apache Spark 2.2.0 中文文档 - 集群模式概述 | ApacheCN

集群模式概述 该文档给出了 Spark 如何在集群上运行、使之更容易来理解所涉及到的组件的简短概述。通过阅读 应用提交指南 来学习关于在集群上启动应用。 ...

1775
来自专栏Hadoop实操

Impala动态资源池及放置规则使用

Fayson在前面的文章介绍了《如何启用Impala的动态资源池》。管理员可以通过Impala的动态资源池、放置规则及ACL控制不同的用户对Impala资源使用...

3124
来自专栏LuckQI

Java大数据学习~Hadoop初识二读取与写入流程

1325
来自专栏Hadoop实操

如何在CDSW上调试失败或卡住的Spark应用

默认情况下,CDSW会话中的Spark应用程序只显示ERROR级别的日志,当作业出现异常或卡住时无法查看作业运行详细日志及异常堆栈信息,不能根据日志的上下文正确...

1383
来自专栏L宝宝聊IT

案例:HDFS分布式文件系统

2025
来自专栏简单聊聊Spark

Spark性能调优九之常用算子调优

        前面介绍了很多关于Spark性能的调优手段,今天来介绍一下Spark性能调优的最后一个点,就是关于Spark中常用算子的调优。废话不多说,直接进...

1651

扫码关注云+社区