前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何在Hue中调优Impala和Hive查询

如何在Hue中调优Impala和Hive查询

作者头像
Fayson
发布2018-11-16 11:31:07
5.9K0
发布2018-11-16 11:31:07
举报
文章被收录于专栏:Hadoop实操

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1

文档编写目的

Hue中使用Hive和Impala进行查询,在使用完Hue后退出登录,会出现Hive和Impala的暂用的资源未释放。本篇文章Fayson主要针对该问题在Hue中调优Impala和Hive查询,该调优方式适用于CDH5.2及以后版本。

  • 内容概述

1.场景描述及测试用户准备

2.Impala资源池和放置规则配置

3.放置规则验证及总结

  • 测试环境

1.CM和CDH版本为5.15

2

Hue中调优Impala

Hue会尝试在用户离开查询结果返回界面时关闭查询(通常查询会比较快完成,因此可以快速的关闭它们)。但是,如果用户执行的操作从未返回。或者,如果用户从未关闭查询页面,则查询任然保存打开状态。在CDH5.2中,Impala将自动使用“query_timeout_s”属性指定会话超时时间(默认为10分钟),在超时后自动取消查询,可以通过如下方式设置该参数。

1.使用管理员登录CM,进入Hue服务的配置界面

2.在搜索栏输入“hue*.ini”,在配置项中配置如下信息

代码语言:javascript
复制
[impala]
query_timeout_s=600

(可左右滑动)

配置查询超时时间,单位为s,完成以上配置后根据CM提示重启相应服务即可。在此之前的版本,关闭所有查询的唯一解决方法则是重启Hue或Impala服务。

注意:Impala目前只能取消查询但不能关闭查询。他将在Impala 1575的版本中得到改进。JIRA地址如下:http://issues.cloudera.org/browse/IMPALA-1575

3

Hive调优

在CDH5.2版本中修复了HIVE-5799问题,HiveServer2可以通过配置会话超时时间。具体JIRA地址:https://issues.apache.org/jira/browse/HIVE-5799,如下来说明如何进行Hive调优:

1.使用管理员登录CM,进入Hive服务的配置界面

2.在左侧筛选器选择HiveServer2服务并在搜索栏输入“hive-site.xml”,在配置中增加如下内容:

代码语言:javascript
复制
<property>
    <name>hive.server2.session.check.interval</name>
    <value>3000</value>
    <description>The check interval for session/operation timeout, which can be disabled by setting to zero or negative value.</description>
</property>
<property>
    <name>hive.server2.idle.session.timeout</name>
    <value>0</value>
    <description>Session will be closed when it's not accessed for this duration, which can be disabled by setting to zero or negative value.</description>
</property>
<property>
    <name>hive.server2.idle.operation.timeout</name>
    <value>0</value>
    <description>Operation will be closed when it's not accessed for this duration of time, which can be disabled by setting to zero value. With positive value, it's checked for operations in terminal state only (FINISHED, CANCELED, CLOSED, ERROR). With negative value, it's checked for all of the operations regardless of state.</description>
</property>

(可左右滑动)

完成修改后,保存配置并重启HiveServer2服务。

4

文总结

1.在Hue中进行Hive和Impala查询后,用户退出后不会自动的释放Hive和Impala的资源,因此该调优文章主要针对查询占用资源不释放问题。

2.通过设置Impala和HiveServer2的会话超时方式来释放查询占用的资源,已达到调优的目的。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-11-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档