如何在Hue中配置HiveServer2的负载均衡

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github:https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的

内容概述

1.测试环境描述

2.Hue配置HiveServer2负载均衡

3.测试HiveServer2负载均衡

4.总结

测试环境

1.CM和CDH版本为5.13.1

2.Haproxy版本为1.5.18

前置条件

1.已配置好Haproxy实现的Hive负载均衡

2.环境描述

在CDH集群中使用Haproxy配置HiveServer2服务的负载均衡,具体可参看Fayson前面的文章《如何使用HAProxy实现HiveServer2负载均衡》。

Haproxy的配置如下:

(可左右滑动)

3.修改Hue配置

1.使用管理员登录Cloudera Manager的WEB控制台,进入hue服务的配置项页面

2.在配置项搜索”hue_safety_valve.ini”,在该配置项增加如下配置

(可左右滑动)

配置项说明:

hive_server_host: Haproxy服务的HOSTNAME或IP地址。

hive_server_port: Haproxy中配置监听的HiveJDBC的端口10099。

3.保存配置,回到CM主页根据提示重启Hue及相关服务

4.测试Hive是否正常访问

这里我们使用两个浏览器登录Hue,来对Hive进行操作,查看Haproxy是否有负载均衡。

1.使用谷歌浏览器登录Hue,执行SELECT操作

查看此时Haproxy的监控界面,可以看到使用谷歌浏览器登录操作Hive连接的是ip-172-31-6-148.fayson.com节点的HiveServer2服务

2.使用Safari浏览器登录Hue,执行SELECT操作

SQL执行成功,查看此时Haproxy的监控界面,可以看到使用Safari浏览器登录操作Hive连接的是ip-172-31-5-190.fayson.com节点的HiveServer2服务

5.总结

在Hue中配置连接多个HiveServer2需要先配置HiveServer2服务的负载均衡,本篇文章我们我们使用Haproxy实现的HiveServer2负载均衡。

在配置HiveJDBC的Haproxy时需要将负载均衡的策略指定为balance source否则在使用时会报“Results have expired, rerun the query ifneeded”

balance source是将用户的IP地址经过Hash计算后指定到固定的服务器上。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20180131G09TSE00?refer=cp_1026

同媒体快讯

相关快讯

扫码关注云+社区