如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


前面Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》,本文主要介绍如何使用HAProxy实现Kerberos环境下HiveServer2的负载均衡。

  • 内容概述

1.HAProxy配置HiveServer2负载均衡

2.HiveServer2配置Load Balancer

3.Beeline及Java JDBC测试

4.总结

  • 测试环境

1.CM和CDH版本为5.14.0

2.采用ec2-user用户操作

3.集群已启用Kerberos

4.HAProxy1.5.18

2.HAProxy配置HiveServer2负载均衡


这里Fayson就不再赘述HAProxy的安装,具体你可以参考之前的文章《如何使用HAProxy实现Impala的负载均衡》,本文的配置也是基于前面文章的配置文件。

1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置

listen hivejdbc
    bind 0.0.0.0:10099
    mode tcp
    option tcplog
    balance source
    server ip-172-31-21-83.ap-southeast-1.compute.internal ip-172-31-21-83.ap-southeast-1.compute.internal:10000 check
    server ip-172-31-16-68.ap-southeast-1.compute.internal ip-172-31-16-68.ap-southeast-1.compute.internal:10000 check

(可左右滑动)

2.重启HAProxy服务

[root@ip-172-31-24-169 ec2-user]# systemctl restart haproxy
[root@ip-172-31-24-169 ec2-user]# systemctl status haproxy

(可左右滑动)

3.浏览器访问http://{hostname}:1080/stats

看到以上截图说明,已成功配置了HiveServer2服务的负载均衡。

3.修改Hive配置


1.使用管理员登录Cloudera Manager的Web控制台,进入Hive服务

2.在配置项搜索“HiveServer2 Load Balancer”

保存配置,回到CM主页根据提示重启相应服务。

4.Beeline测试


使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它HiveServer2节点

1.使用Beeline访问HAProxy服务的10099端口,命令如下

[ec2-user@ip-172-31-16-68 ~]$ kinit fayson
Password for fayson@FAYSON.COM: 
[ec2-user@ip-172-31-16-68 ~]$ beeline 
Beeline version 1.1.0-cdh5.14.0 by Apache Hive
beeline> !connect jdbc:hive2://ip-172-31-24-169.ap-southeast-1.compute.internal:10099/;principal=hive/ip-172-31-24-169.ap-southeast-1.compute.internal@FAYSON.COM

(可左右滑动)

2.同时打开两个终端访问HiveServer2并执行SQL

终端一

终端二:

3.通过访问HAProxy的统计页面可以看到如下信息

通过以上测试可以看到,两个终端执行的SQL不在同一个HiveServer2,这样就实现了HiveServer2服务的负载均衡。

5.Hive JDBC测试


这里Java的测试工程就不详细描述如何创建了,前面的文章Fayson也有讲过。

1.Maven依赖

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.6.5</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-jdbc</artifactId>
        <version>1.1.0</version>
    </dependency>
</dependencies>

(可左右滑动)

2.配置JDBC的地址为HAProxy服务所在的IP端口为10099

package com.cloudera.hivejdbc;
import com.cloudera.utils.JDBCUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.security.UserGroupInformation;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
/**
 * package: com.cloudera.hivejdbc
 * describe: 通过Haproxy连接Kerberos环境下的HiveServer2
 * creat_user: Fayson
 * email: htechinfo@163.com
 * creat_date: 2018/2/4
 * creat_time: 下午9:02
 * 公众号:Hadoop实操
 */
public class KBHaproxySimple {
    private static String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver";
    private static String CONNECTION_URL ="jdbc:hive2://ip-172-31-24-169.ap-southeast-1.compute.internal:10099/;principal=hive/ip-172-31-24-169.ap-southeast-1.compute.internal@FAYSON.COM";
    static {
        try {
            Class.forName(JDBC_DRIVER);
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
    }
    public static void main(String[] args) throws Exception {
        System.out.println("通过Haproxy连接Kerberos环境下的HiveServer2");
        //登录Kerberos账号
        System.setProperty("java.security.krb5.conf", "/Volumes/Transcend/keytab/krb5.conf");
        Configuration configuration = new Configuration();
        configuration.set("hadoop.security.authentication" , "Kerberos" );
        UserGroupInformation. setConfiguration(configuration);
        UserGroupInformation.loginUserFromKeytab("fayson@FAYSON.COM", "/Volumes/Transcend/keytab/fayson.keytab");
        System.out.println(UserGroupInformation.getLoginUser());
        Connection connection = null;
        ResultSet rs = null;
        PreparedStatement ps = null;
        try {
            connection = DriverManager.getConnection(CONNECTION_URL);
            ps = connection.prepareStatement("select * from test");
            rs = ps.executeQuery();
            while (rs.next()) {
                System.out.println(rs.getInt(1) + "----" + rs.getString(2));
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            JDBCUtils.disconnect(connection, rs, ps);
        }
    }
}

(可左右滑动)

3.运行代码,查看运行结果

6.总结


  • 在启用Kerberos的CDH集群,使用Haproxy实现HiveServer2的负载均衡,需要配置HiveServer2 Load Balancer参数。
  • JDBC的URL中指定的principal为Haproxy服务器的hive/ip-172-31-24-169.ap-southeast-1.compute.internal@FAYSON.COM。
  • 在使用Java代码连接时,需要加载krb5.conf、fayson.keytab等信息。

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-02-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何使用Sentry管理Hive外部表(补充)

/extwarehouse/student_hive数据目录不存,在创建外部表时自动生成,且数据目录属主为hive。

4354
来自专栏杨建荣的学习笔记

MySQL主从不一致的修复过程(r10笔记第96天)

昨天发现一个5.7的MySQL从库在应用日志的时候报出了错误。从库启用过了并行复制。Last Error的内容为: Last_Error: Coordinato...

4449
来自专栏技术专栏

慕课网Spark SQL日志分析 - 2.Spark 实战环境搭建

下载地址: http://spark.apache.org/downloads.html

2711
来自专栏Hadoop实操

如何在Kerberos下使用Solr

2951
来自专栏Hadoop实操

如何在CDH启用Kerberos的情况下安装及使用Sentry(一)

本文档主要讲述如何在启用Kerberos的CDH集群中安装配置及使用Sentry。

9196
来自专栏Hadoop实操

如何在Redhat7.3安装CDH5.14

Cloudera在2018年1月26日发布了CDH5.14,新功能介绍可以参考Fayson之前的文章《CDH5.14和CM5.14的新功能》。本文档主要描述如何...

2.1K8
来自专栏从零开始的linux

分布式文件系统 fastdfs

fastdfs FastDFS是一款开源的轻量级分布式文件系统纯C实现,支持Linux、FreeBSD等UNIX系统类google FS,不是通用的文件系统,只...

6696
来自专栏Hadoop实操

如何使用Java API访问CDH的Kudu

4876
来自专栏Hadoop实操

如何在CDH未启用认证的情况下安装及使用Sentry

CDH平台中的安全,认证(Kerberos/LDAP)是第一步,授权(Sentry)是第二步。如果要启用授权,必须先启用认证。但在CDH平台中给出了一种测试模式...

2.6K8
来自专栏杨建荣的学习笔记

MySQL 5.7 Group Replication错误总结(r11笔记第84天)

今天来总结下MySQL 5.7中的一些问题处理,相对来说常规一些。搭建的过程我就不用多说了,昨天的文章分分钟搭建MySQL Group Replicati...

57612

扫码关注云+社区

领取腾讯云代金券