前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >HttpURLConnection获取开启kerberos的HDFS等组件的JMX信息

HttpURLConnection获取开启kerberos的HDFS等组件的JMX信息

作者头像
从大数据到人工智能
发布2022-04-17 11:12:00
4960
发布2022-04-17 11:12:00
举报
文章被收录于专栏:大数据-BigData大数据-BigData

由于安全原因,需要对HDFS UI等端口进行限制访问,也就是配置kerberos认证,在core-site.xml文件中进行如下配置:

代码语言:javascript
复制
    <property>
      <name>hadoop.http.authentication.type</name>
      <value>kerberos</value>
    </property>

此时访问hdfs的50070端口,会出现如下

但是进行了上述配置之后,同样也将组件的JMX信息也进行了限制,必须使用kerberos认证才可访问。

下文记录如何在Java代码中进行kerberos认证进而通过HttpURLConnection获取HDFS JMX等信息。

创建Java主类:App.java

代码语言:javascript
复制
package org.example;

import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;

/**
 * Hello world!
 *
 */
public class App 
{
    public static void main(String[] args) throws IOException {
        if (args.length > 0) {
            System.setProperty("java.security.auth.login.config", args[0]);
        }
        HttpURLConnection connection = null;
        URL url = new URL(args[1]);
        connection = (HttpURLConnection) url.openConnection();
        connection.setRequestMethod("GET");
        InputStream is = connection.getInputStream();
        byte[] bytes = read(is);
        String str = new String(bytes);
        System.out.println("返回结果" + str);
        is.close();
    }

    public static byte[] read(InputStream inputStream) throws IOException {
        try {
            ByteArrayOutputStream baos = new ByteArrayOutputStream();
            byte[] buffer = new byte[1024];
            int num = inputStream.read(buffer);
            while (num != -1) {
                baos.write(buffer, 0, num);
                num = inputStream.read(buffer);
            }
            baos.flush();
            return baos.toByteArray();
        } finally {
            if (inputStream != null) {
                inputStream.close();
            }
        }
    }
}

创建配置文件http.conf

代码语言:javascript
复制
com.sun.security.jgss.krb5.initiate {
      com.sun.security.auth.module.Krb5LoginModule required
      useKeyTab=true
      useTicketCache=false
      keyTab=" /admin.keytab"
      principal="admin@HADOOP.COM";
};

打包成admin.jar,执行如下命令验证

代码语言:javascript
复制
java -jar admin.jar http.conf http://hadoop:50070/jmx

如果要开启debug模式,可在代码中新增如下配置:

代码语言:javascript
复制
        System.setProperty("sun.security.spnego.debug", "true");
        System.setProperty("sun.security.krb5.debug", "true");

此时会在终端打印如下信息:

本文为从大数据到人工智能博主「xiaozhch5」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://cloud.tencent.com/developer/article/1983267

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档