专栏首页Hadoop实操如何查看集成Sentry后Hive作业的真实用户

如何查看集成Sentry后Hive作业的真实用户

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在CDH集群启用Sentry服务后,需要关闭Hive的启用模拟功能,hive.server2.enable.impersonation设为false,这会导致任何用户在Hive中提交的所有SQL生成的MR任务的用户名称都是hive,而非真实用户。本篇文章主要介绍如何查看集成Sentry后Hive作业的真实用户。

  • 内容概述

1.执行Hive作业

2.查看Hive作业用户方式

3.总结

  • 测试环境

1.RedHat7.2

2.CM和CDH集群为5.11.2

3.集群已启用Sentry和Kerberos

2.执行Hive作业


1.使用fayson用户Kinit操作

2.使用beeline登录HiveServer2

3.执行一个Hive的MR作业

4.Yarn的应用程序列表显示

5.Yarn的8088界面显示

3.查看Hive作业真实用户


1.通过Cloudera Manager界面查看在Hive作业运行完成后,查看Yarn应用程序列表,可以看到显示的用户信息

可以看到作业在运行完成后,显示的用户为fayson用户,为我们执行作业的用户。

2.通过Yarn的8088界面查看,进行作业执行列表点击作业查看详情

进入Job运行界面

点击“History”,进入作业历史详情界面

点击“Configuration”链接,进入作业配置相应页面,过滤“hive.sentry.subject.name”查看作业的真实用户

3.通过Cloudera Manager提供的API界面查看Hive作业的真实用户

curl -u admin:admin "http://ip-172-31-22-86.ap-southeast-1.compute.internal:7180/api/v16/clusters/cluster/services/yarn/yarnApplications"

(可左右滑动)

4.总结


  • 集群集成Sentry服务后Hive作业的真实用户不能通过Yarn的8088界面直接查看到,无论作业执行完成与否。
  • 在Hive作业运行完成后可以通过Cloudera Manager界面的“Yarn应用程序”列表看到执行作业的真实用户。
  • 可以通过CM提供的API接口来获取运行完成的Hive作业的详细信息查看真实用户,也需等待作业执行完成。
  • 通过YARN的HistoryServer查看每个作业的Configuration,hive.sentry.subject.name可以查看真实的用户,但依旧需要等待作业执行完毕。

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f),作者:Fayson

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-01-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何集成OpenLDAP+Sentry.docx

    前面Fayson讲了如何安装OpenLDAP及CDH集群集成OpenLDAP等一系列文章,本篇文章主要介绍集成OpenLDAP后的CDH集群在启用Sentry服...

    Fayson
  • 如何安装SmartBI并连接到Impala

    Fayson
  • 如何启用Oozie的HA

    Oozie是基于Hadoop的作业调度工具,工作流引擎,在实际工作中,遇到对数据进行一连串的操作的时候很实用,不需要自己写一些处理代码了,只需要定义好各个act...

    Fayson
  • 软件开发之道

    2.对于较难理解的,一定要多看,这个多看不仅仅指一遍遍的阅读技术文档或代码,而且也可以理解为不止某一天看,因为有些知识需要消化,当时看过之后未必能够消化掉,因为...

    小诸葛
  • 软件开发之道

    2.对于较难理解的,一定要多看,这个多看不仅仅指一遍遍的阅读技术文档或代码,而且也可以理解为不止某一天看,因为有些知识需要消化,当时看过之后未必能够消化掉,因为...

    小诸葛
  • 未来,企业的价值将由“数字化资产”决定

    2020年,如何实现线上生意增长,是全行业最为关注的议题。突如其来的黑天鹅事件,线下停摆、环境突变,商业世界的规则变得极为严苛:要么变,要么死。这也推动企业全面...

    盒子菌
  • 详细grep、sed、awk

    [root@VM_0_7_centos tmp]# cat 1.txt 1 2 3 4 5 6 [root@VM_0_7_centos tmp]# cat 2...

    用户1173509
  • 我们为什么需要去中心化身份

    本篇文章尝试回答两个问题。第一个问题是如何保证从企业或机构中的泄露数据中不会关联用户的身份信息。第二个问题是如何保障企业或机构在正常经营中能够拿到必要的身份数据...

    lambeta
  • 挖掘用户行为数据最佳武器——SDK

    越来越多的企业已开始挖掘用户行为数据的商业价值,利用行为数据进行精准有效的数字营销。以科技金融行业为例,某知名企业的数据表明:用户行为数据的效力是金融数据的4倍...

    BestSDK
  • 大数据就是“大而全”?诸葛io邱千秋:数据“瘦身”后威力才更大

    引言:李彦宏说过,如果以英国的工业革命来比喻的话,大数据就是煤,Ai技术就是蒸汽机。数据越多,动力越足,这几乎是常识性问题,但是事实真的就是这样吗? 记者 | ...

    数据猿

扫码关注云+社区

领取腾讯云代金券