如何在Hue中配置HiveServer2的负载均衡

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在前面的文章Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》和《如何使用Zookeeper实现HiveServer2的HA》。本篇文章主要基于Haproxy方式实现的Hive负载均衡在Hue中配置HiveServer2服务的负载均衡。

  • 内容概述

1.测试环境描述

2.Hue配置HiveServer2负载均衡

3.测试HiveServer2负载均衡

4.总结

  • 测试环境

1.CM和CDH版本为5.13.1

2.Haproxy版本为1.5.18

  • 前置条件

1.已配置好Haproxy实现的Hive负载均衡

2.环境描述


在CDH集群中使用Haproxy配置HiveServer2服务的负载均衡,具体可参看Fayson前面的文章《如何使用HAProxy实现HiveServer2负载均衡》。

Haproxy的配置如下:

global
    # to have these messages end up in /var/log/haproxy.log you will
    # need to:
    #
    # 1) configure syslog to accept network log events.  This is done
    #    by adding the '-r' option to the SYSLOGD_OPTIONS in
    #    /etc/sysconfig/syslog
    #
    # 2) configure local2 events to go to the /var/log/haproxy.log
    #   file. A line like the following can be added to
    #   /etc/sysconfig/syslog
    #
    #    local2.*                       /var/log/haproxy.log
    #
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    #option http-server-close
    #option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000
listen stats
    bind 0.0.0.0:1080
    mode http
    option httplog
    maxconn 5000
    stats refresh 30s
    stats  uri /stats 
listen hivejdbc
    bind 0.0.0.0:10099
    mode tcp
    option tcplog
    balance source
    server ip-172-31-5-190.fayson.com ip-172-31-5-190.fayson.com:10000 check
    server ip-172-31-6-148.fayson.com ip-172-31-6-148.fayson.com:10000 check

(可左右滑动)

3.修改Hue配置


1.使用管理员登录Cloudera Manager的WEB控制台,进入hue服务的配置项页面

2.在配置项搜索”hue_safety_valve.ini”,在该配置项增加如下配置

[beeswax]
hive_server_host=ip-172-31-7-172.fayson.com
hive_server_port=10099

(可左右滑动)

配置项说明:

hive_server_host: Haproxy服务的HOSTNAME或IP地址。

hive_server_port: Haproxy中配置监听的HiveJDBC的端口10099。

3.保存配置,回到CM主页根据提示重启Hue及相关服务

4.测试Hive是否正常访问


这里我们使用两个浏览器登录Hue,来对Hive进行操作,查看Haproxy是否有负载均衡。

1.使用谷歌浏览器登录Hue,执行SELECT操作

查看此时Haproxy的监控界面,可以看到使用谷歌浏览器登录操作Hive连接的是ip-172-31-6-148.fayson.com节点的HiveServer2服务

2.使用Safari浏览器登录Hue,执行SELECT操作

SQL执行成功,查看此时Haproxy的监控界面,可以看到使用Safari浏览器登录操作Hive连接的是ip-172-31-5-190.fayson.com节点的HiveServer2服务

5.总结


  • 在Hue中配置连接多个HiveServer2需要先配置HiveServer2服务的负载均衡,本篇文章我们我们使用Haproxy实现的HiveServer2负载均衡。
  • 在配置HiveJDBC的Haproxy时需要将负载均衡的策略指定为balance source否则在使用时会报“Results have expired, rerun the query ifneeded”
  • balance source是将用户的IP地址经过Hash计算后指定到固定的服务器上。

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-01-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何在CDH集群的非元数据库节点安装MySQL5.7.12

在CDH集群中默认使用的MySQL版本是操作系统自带的版本,一般操作系统自带的MySQL版本都会比较低,对于企业已有应用可能会用较新的MySQL版本,使用集群中...

3846
来自专栏Hadoop实操

如何在Kerberos环境下使用Flume采集Kafka数据写入HBase

1982
来自专栏Hadoop实操

6.如何为Hue配置OpenLDAP认证

在前面的文章Fayson讲了《1.如何在CentOS6.5安装OpenLDAP并配置客户端》、《2.OpenLDAP集成SSH登录并使用SSSD同步用户》、《3...

5494
来自专栏大数据-Hadoop、Spark

Hive的使用-Thrift服务

Hive Thrift服务 1.启动Thrift为前台服务: bin/hiveserver2 2.启动为后台服务: nohup bin/hiveserver...

4447
来自专栏编程

Hue中使用Oozie创建Shell工作流在脚本中切换不同用户

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproje...

2649
来自专栏Java面试笔试题

事务的ACID是指什么?

2023
来自专栏Hadoop实操

如何使用Cloudera Manager为Hadoop服务角色启用远程JMX访问

JMX(Java Management Extensions,即Java管理扩展)做Java开发的人都比较熟悉,它提供了一种在运行时动态资源的监控指标。JMX主...

2083
来自专栏Albert陈凯

Hadoop数据分析平台实战——170Oozie介绍及环境搭建离线数据分析平台实战——170Oozie介绍及环境搭建

离线数据分析平台实战——170Oozie介绍及环境搭建 Oozie介绍 Oozie是一个工作流引擎服务器,用于运行Hadoop Map/Reduce和Hive等...

3665
来自专栏Hadoop实操

如何通过CM升级CDK至3.1.0(Kafka-1.0.1)

在前面的文章《如何通过CM升级Kafka0.11及Spark2.2》中Fayson介绍了升级Kafka的方式。本篇文章Fayson主要介绍在CDH中如何升级CD...

4334
来自专栏Pulsar-V

Ubuntu xrdp 桌面显示问题

系统环境:Ubintu 16.6 报错软件:XRDP 报错触发:在打开XRDP远程桌面的时候,文件图标变为红色X,打开控制台报错 报错内容:Failed to ...

4265

扫码关注云+社区

领取腾讯云代金券