如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github:https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的

前面Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》,本文主要介绍如何使用HAProxy实现Kerberos环境下HiveServer2的负载均衡。

内容概述

1.HAProxy配置HiveServer2负载均衡

2.HiveServer2配置Load Balancer

3.Beeline及Java JDBC测试

4.总结

测试环境

1.CM和CDH版本为5.14.0

2.采用ec2-user用户操作

3.集群已启用Kerberos

4.HAProxy1.5.18

2.HAProxy配置HiveServer2负载均衡

这里Fayson就不再赘述HAProxy的安装,具体你可以参考之前的文章《如何使用HAProxy实现Impala的负载均衡》,本文的配置也是基于前面文章的配置文件。

1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置

(可左右滑动)

2.重启HAProxy服务

(可左右滑动)

3.浏览器访问http://:1080/stats

看到以上截图说明,已成功配置了HiveServer2服务的负载均衡。

3.修改Hive配置

1.使用管理员登录Cloudera Manager的Web控制台,进入Hive服务

2.在配置项搜索“HiveServer2 Load Balancer”

保存配置,回到CM主页根据提示重启相应服务。

4.Beeline测试

使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它HiveServer2节点

1.使用Beeline访问HAProxy服务的10099端口,命令如下

(可左右滑动)

2.同时打开两个终端访问HiveServer2并执行SQL

终端一

终端二:

3.通过访问HAProxy的统计页面可以看到如下信息

通过以上测试可以看到,两个终端执行的SQL不在同一个HiveServer2,这样就实现了HiveServer2服务的负载均衡。

5.Hive JDBC测试

这里Java的测试工程就不详细描述如何创建了,前面的文章Fayson也有讲过。

1.Maven依赖

(可左右滑动)

2.配置JDBC的地址为HAProxy服务所在的IP端口为10099

(可左右滑动)

3.运行代码,查看运行结果

6.总结

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180217G0K20B00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励