专栏首页Hadoop实操如何使用java代码通过JDBC连接Hive(附github源码)

如何使用java代码通过JDBC连接Hive(附github源码)

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.文档编写目的


前面我们讲过《如何使用java代码通过JDBC连接Impala(附Github源码)》,本篇文章主要讲述如何使用Java代码通过JDBC的方式连接Hive。

  • 内容概述

1.环境准备

2.非Kerberos及Kerberos环境连接示例

  • 测试环境

1.Kerberos集群CDH5.11.2,OS为Redhat7.2

2.非Kerberos集群CDH5.13,OS为CentOS6.5

  • 前置条件

1.集群已安装HiveServer2服务正常

2.Kerberos和非Kerberos集群HiveServer2服务正常

2.环境准备


1.创建Java工程jdbcdemo

2.添加Maven依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.6.5</version>
</dependency>
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>1.1.0</version>
</dependency>

3.非Kerberos环境


1.示例代码

private static String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver";
private static String CONNECTION_URL ="jdbc:hive2://54.251.129.76:10000/";

static {
    try {
        Class.forName(JDBC_DRIVER);
    } catch (Exception e) {
        e.printStackTrace();
    }
}

public static void main(String[] args) {
    System.out.println("通过JDBC连接非Kerberos环境下的HiveServer2");
    Connection connection = null;
    ResultSet rs = null;
    PreparedStatement ps = null;
    try {
        connection = DriverManager.getConnection(CONNECTION_URL);
        ps = connection.prepareStatement("select * from test_table");
        rs = ps.executeQuery();
        while (rs.next()) {
            System.out.println(rs.getInt(1) + "-------" + rs.getString(2));
        }

    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        JDBCUtils.disconnect(connection, rs, ps);
    }
}

2.示例代码运行

4.Kerberos环境


连接Kerberos环境下的Hive需要准备Kerberos的krb5.conf文件及keytab文件。

注意:Fayson的测试环境是AWS,所以将kdc和HiveServer2服务的IP地址修改为相应的外网地址,JDBC的URL后Kerberos信息是连接的HiveServer2服务对应Prinical信息。

  • krb5.conf配置,直接将集群的krb5.conf文件拷贝至本地开发环境下
# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 default_realm = CLOUDERA.COM
 #default_ccache_name = KEYRING:persistent:%{uid}

[realms]
 CLOUDERA.COM = {
  kdc = 54.179.148.25
  admin_server = 54.179.148.25
 }

keytab文件生成

[ec2-user@ip-172-31-22-86 ~]$ sudo kadmin.local
Authenticating as principal hive/admin@CLOUDERA.COM with password.
kadmin.local:  xst -norandkey -k fayson.keytab fayson@CLOUDERA.COM 

1.示例代码

private static String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver";
private static String CONNECTION_URL ="jdbc:hive2://54.179.148.25:10000/;principal=hive/ip-172-31-22-86.ap-southeast-1.compute.internal@CLOUDERA.COM";

static {
    try {
        Class.forName(JDBC_DRIVER);

    } catch (ClassNotFoundException e) {
        e.printStackTrace();
    }
}

public static void main(String[] args) throws Exception {
    //登录Kerberos账号
    System.setProperty("java.security.krb5.conf", "/Volumes/Transcend/keytab/krb5.conf");
    Configuration configuration = new Configuration();
    configuration.set("hadoop.security.authentication" , "Kerberos" );
    UserGroupInformation. setConfiguration(configuration);
    UserGroupInformation.loginUserFromKeytab("fayson@CLOUDERA.COM", "/Volumes/Transcend/keytab/fayson.keytab");

    Connection connection = null;
    ResultSet rs = null;
    PreparedStatement ps = null;
    try {
        connection = DriverManager.getConnection(CONNECTION_URL);
        ps = connection.prepareStatement("select * from test_table");
        rs = ps.executeQuery();
        while (rs.next()) {
            System.out.println(rs.getInt(1));
        }
    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        JDBCUtils.disconnect(connection, rs, ps);
    }
}

2.示例代码运行

GitHub源码地址:

https://github.com/javaxsky/cdhproject

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f),作者:Fayson

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-11-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何使用java代码通过JDBC连接Impala(附Github源码)

    访问Impala的方式很多(如:impala-shell、ODBC、JDBC、Beeline),也可以通过Hue的来访问。关于Beeline方式连接Impala...

    Fayson
  • 如何通过Tableau连接Kerberos的Hive/Impala

    昨天Fayson写了一篇《如何安装Tableau并连接CDH的Hive/Impala》,后台关注人数当天增加了40人,有点大大超过Fayson的预期,首先还是谢...

    Fayson
  • 如何使用Cloudera Manager启用YARN的HA

    前面Fayson写过《如何使用Cloudera Manager启用HDFS的HA》,YARN的HA架构和HDFS的HA类似,需要启动两个ResourceMana...

    Fayson
  • 使用Ansible自动化管理云上或者本地的基础设施

    Ansible任务是幂等的。通常在没有额外编码的情况下,单单调用脚本重复执行通常是不安全的。而Ansible在执行任务之前都会收集当前的系统和环境信息作为上下文...

    Techeek
  • Activity四种launchMode

    总共有四篇关于Activity,task,launchMode的文章,可以在我的博客中查看,或者在文章底部点下一篇。 1.Standard 默认模式,多次实例化...

    梦里茶
  • 【死磕Java并发】-----J.U.C之阻塞队列:LinkedBlockingDeque

    原文出处http://cmsblogs.com/ 『chenssy』 前面的BlockingQueue都是单向的FIFO队列,而LinkedBlockingDe...

    用户1655470
  • 如何让你的“门外汉”同事相信数据科学很有用?

    大数据文摘
  • 关于系统用户数,并发用户数,在线用户数,吞吐量(摘)

    侠义上来说,可以理解为系统注册用户数;广义上来说,可以理解为所有访问过系统的用户数

    授客
  • python3:基础语法

    调用标准keyword类库的kwlist方法,显示当前python版本的关键字即可

    测试邦
  • 0627-如何跳过HiveServer2 WebUI的Kerberos验证

    在CDH集群启用Kerberos后,通过浏览器访问HiveServer2的Web UI时提示需要输入用户名和密码(即Kerberos账号进行认证)。在前面Fay...

    Fayson

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动