学习
实践
活动
专区
工具
TVP
写文章
专栏首页Hadoop实操如何使用HAProxy实现Impala的负载均衡

如何使用HAProxy实现Impala的负载均衡

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.文档编写目的


前面Fayson介绍过《如何使用Nginx实现Impala负载均衡》,正如之前所说Cloudera官网推荐并支持的负载均衡为HAProxy。所以Fayson就介绍一下如何使用HAProxy实现Impala服务的负载均衡。

  • 内容概述

1.HAProxy安装及启停

2.HAProxy配置Impala负载均衡

3.Impala shell及JDBC测试

  • 测试环境

1.CM和CDH版本为5.13.0

2.采用root用户操作

3.集群未启用Kerberos

4.HAProxy1.5.18

2.HAProxy安装及启停


1.在集群中选择一个节点,使用yum方式安装HAProxy服务

[root@ip-172-31-9-33 ~]# yum -y install haproxy

2.启动与停止HAProxy服务,并将服务添加到自启动列表

[root@ip-172-31-9-33 ~]# service haproxy start
[root@ip-172-31-9-33 ~]# service haproxy stop
[root@ip-172-31-9-33 ~]# chkconfig haproxy on

3.HAProxy配置Impala负载均衡


1.将/etc/haproxy目录下的haproxy.cfg文件备份,新建haproxy.cfg文件,添加如下配置

#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------

#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    #option http-server-close
    #option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000


listen stats
    bind 0.0.0.0:1080
    mode http
    option httplog
    maxconn 5000
    stats refresh 30s
    stats  uri /stats 

listen impalashell
    bind 0.0.0.0:25003
    mode tcp
    option tcplog
    balance leastconn
    server ip-172-31-9-33.fayson.com ip-172-31-9-33.fayson.com:21000 check
    server ip-172-31-5-190.fayson.com ip-172-31-5-190.fayson.com:21000 check
    server ip-172-31-10-118.fayson.com ip-172-31-10-118.fayson.com:21000 check

listen impalajdbc
    bind 0.0.0.0:25004
    mode tcp
    option tcplog
    balance leastconn
    server ip-172-31-9-33.fayson.com ip-172-31-9-33.fayson.com:21050 check
    server ip-172-31-5-190.fayson.com ip-172-31-5-190.fayson.com:21050 check
    server ip-172-31-10-118.fayson.com ip-172-31-10-118.fayson.com:21050 check

主要配置了HAProxy的http状态管理界面、impalashell和impalajdbc的负载均衡。

2.重启HAProxy服务

[root@ip-172-31-9-33 haproxy]# service haproxy restart

3.浏览器访问http://{hostname}:1080/stats

看到以上截图说明,已成功配置了Impala服务的负载均衡。

4.Impala Shell测试


使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它Impala Daemon节点

1.使用Impala shell访问HAProxy服务的25003端口,命令如下

[root@ip-172-31-6-148 ~]# impala-shell -i ip-172-31-9-33.fayson.com:25003

2.打开第一个终端访问并执行SQL

[root@ip-172-31-6-148 ~]# impala-shell -i ip-172-31-9-33.fayson.com:25003
...
[ip-172-31-9-33.fayson.com:25003] > select * from my_first_table;
...
+----+------+
| id | name |
+----+------+
| 1  | john |
| 2  | tom  |
| 3  | jim  |
+----+------+
Fetched 3 row(s) in 7.20s
[ip-172-31-9-33.fayson.com:25003] >

3.同时打开第二个终端访问并执行SQL

[root@ip-172-31-6-148 ~]# impala-shell -i ip-172-31-9-33.fayson.com:25003
...
[ip-172-31-9-33.fayson.com:25003] > select * from my_first_table;
...
+----+------+
| id | name |
+----+------+
| 2  | tom  |
| 3  | jim  |
| 1  | john |
+----+------+
Fetched 3 row(s) in 1.81s
[ip-172-31-9-33.fayson.com:25003] > 

通过以上测试可以看到,两个终端执行的SQL不在同一个Impala Daemon,这样就实现了Impala Daemon服务的负载均衡。

5.Impala JDBC测试


这里Java的测试工程就不详细描述如何创建了,前面的文章Fayson也有讲过。

1.配置JDBC的地址为HAProxy服务所在的IP端口为25004

2.运行代码,查看运行结果

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看

文章分享自微信公众号:
Hadoop实操

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!

作者:Fayson
原始发表时间:2017-11-11
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • HAProxy实现Impala的负载均衡

    注: Impala守护进程Beeswax端口21000映射到haproxy 25003

    hallelujah
  • 如何使用HAProxy实现Kerberos环境下的Impala负载均衡

    前面Fayson介绍过《如何使用HAProxy实现Impala的负载均衡》,在Kerberos环境HAProxy的配置与非Kerberos环境下是一样的,只是在...

    Fayson
  • 如何使用Nginx实现Impala负载均衡

    在使用Impala JDBC连接Impala服务时,默认是不带负载均衡的,但一个Impala Daemon很可能会产生单点的问题,这里我们就需要考虑Impala...

    Fayson
  • 如何使用HAProxy实现HiveServer2负载均衡

    前面Fayson介绍了《如何使用HAProxy实现Impala的负载均衡》,本文主要介绍如何使用HAProxy实现Hive服务的负载均衡。

    Fayson
  • haproxy实现负载均衡集群

    HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。根据官方数据,其最高极限支持10G的...

    胡齐
  • haproxy负载均衡中使用keepalived

    haproxy是一个开源的,高性能的,负载均衡软件,借助haproxy可以快速,可靠的构建一个负载均衡群集。

    小勇DW3
  • Haproxy+web实现负载均衡实战

    从上述结果可知,前端对1080端口的请求,被Haproxy的负载均衡器,均衡请求到后端8081、8082端口。

    菲宇
  • Haproxy实现负载均衡和动静分离

    在做过了haprxy负载均衡和动静分离后,haproxy在这两方面的确比nginx更专业一些,session保持,cookie引导,url监测后端,MySQL负...

    星哥玩云
  • HAProxy实现HiveServer2负载均衡

    开启: service haproxy start 或 systemctl start haproxy

    hallelujah
  • 负载均衡工具haproxy安装,配置,使用

    一,什么是haproxyHAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理...

    Java架构师必看
  • 如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡

    前面Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》,本文主要介绍如何使用HAProxy实现Kerberos环境下HiveServ...

    Fayson
  • HAProxy + Keepalived实现MySQL的高可用负载均衡

    |________VIP(10.10.99.103) B:10.10.99.108(MySQLSlave)------| C:10.10.105.11(MySQ...

    星哥玩云
  • Centos7.4 haproxy 实现负载均衡集群

    HAProxy 提供高可用性、负载均衡以及基于 TCP 和 HTTP 应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。根据官方数据,其最高极限支...

    jwangkun
  • haproxy+keepalived实现高可用负载均衡

    检查主机上是否有yum Extra Packages for Enterprise Linux (EPEL)

    全栈程序员站长
  • 如何在Hue中配置Impala的负载均衡

    在前面的文章Fayson介绍了《如何使用HAProxy实现Impala的负载均衡》、《如何使用HAProxy实现Kerberos环境下的Impala负载均衡》和...

    Fayson
  • docker学习系列14 使用haproxy实现mysql集群的负载均衡

    在上节中我们创建了 mysql 集群。 实际工作中,我们不希望让某一数据库节点处理所有的请求,这样的话单个负载高,性能差。

    mafeifan
  • 如何使用HAProxy实现HiveServer2服务的LDAP和Kerberos认证负载均衡

    温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproje...

    Fayson
  • Web 负载均衡解决方案——HAproxy+keepalived实现高可用负载均衡

    Web 负载均衡解决方案——HAproxy+keepalived实现高可用负载均衡

    DevinGeng
  • 负载均衡以及Nginx如何实现负载均衡

    负载均衡是指在一组后端服务器(也称为服务器群或服务器池)之间有效地分配传入网络流量。 现代高流量网站必须以快速可靠的方式处理来自用户或客户端的数十万并发请求,并...

    SakuraTears

扫码关注腾讯云开发者

领取腾讯云代金券