HDFS ACL权限设置

每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定。

放弃不难,但坚持很酷~

HDFS版本:3.1.1

今天主要给大家说一下HDFS文件权限的问题。当一个普通用户去访问HDFS文件时,可能会报Permission denied的错误。那么你会怎么做呢?

像修改linux文件似的,可能的做法有:

  • 修改文件所有者
  • 直接将文件赋予全部的权限,即rwx权限。

上面的做法虽然可以达到目的,但是相对来说对权限的把握不是很精准,不适用于生产环境。

本文主要讲解HDFS的ACL(Access Control List)权限,通过hdfs超级用户,来为普通用户分配权限。

一、背景

如下图所示,我使用hue用户想创建一个简单的hive表。由于hue用户对/warehouse/tablespace/managed/hive目录没有权限,所以创建失败了。

这里就用到了HDFS的ACL权限设置。

二、前提条件

需要确定hdfs-site.xml文件的两个配置项为true

<property>
    <name>dfs.permissions.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.namenode.acls.enabled</name>
    <value>true</value>
</property>

三、语法

1. setfacl

Usage: hdfs dfs -setfacl -R|[--set <acl_spec> <path>]

设置文件和目录的访问控制列表(ACL)。

选项:

  • -b: 删除基本ACL条目以外的所有条目。保留用户,组和其他条目以与权限位兼容。
  • -k: 删除默认ACL。default
  • -R: 以递归方式将操作应用于所有文件和目录。常用。
  • -m: 修改ACL。新条目将添加到ACL,并保留现有条目。常用。
  • -x: 删除指定的ACL条目。保留其他ACL条目。常用。
  • --set: 完全替换ACL,丢弃所有现有条目。 acl_spec必须包含用户,组和其他条目,以便与权限位兼容。
  • acl_spec: 逗号分隔的ACL条目列表。
  • path: 要修改的文件或目录。

示例:

  • hdfs dfs -setfacl -m user:hadoop:rw- /file
  • hdfs dfs -setfacl -x user:hadoop /file
  • hdfs dfs -setfacl -b /file
  • hdfs dfs -setfacl -k /dir
  • hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
  • hdfs dfs -setfacl -R -m user:hadoop:r-x /dir
  • hdfs dfs -setfacl -m default:user:hadoop:r-x /dir

2. getfacl

Usage: hdfs dfs -getfacl [-R] <path>

显示文件和目录的访问控制列表(ACL)。如果目录具有默认ACL,则getfacl还会显示默认ACL。

选项:

  • -R: 以递归方式列出所有文件和目录的ACL。
  • path: 要列出的文件或目录。

示例:

  • hdfs dfs -getfacl /file
  • hdfs dfs -getfacl -R /dir

四、为hue用户赋予权限

使用hdfs超级用户来设置acl:使用-m参数

sudo -u hdfs hdfs dfs -setfacl -m user:hue:rwx /warehouse/tablespace/managed/hive

查看文件目录的acl权限:

hdfs dfs -getfacl /warehouse/tablespace/managed/hive

文件acl权限如下图所示:

现在hue用户就对/warehouse/tablespace/managed/hive这个目录有了rwx全部权限了。

我们使用hue用户创建hive表试试,成功了,如下图所示:

备注:

不过是仅限于hive这个目录,对于里面的子文件不是hue用户创建的,hue用户还是无权访问。 如果需要访问递归的子文件,可以使用-R参数,再次授权。

五、总结

其实这次分享的知识点很简单,但是却很实用。就安全的角度来看,比起chmod 777来说,也比较严谨。

还是希望大家多多练习本文讲述的两个命令:

  • setfacl
  • getfacl

看看这两个命令的其它参数具体什么意思。

关于HDFS shell其它命令,可以查看官网链接:http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html,晚安?

本文分享自微信公众号 - 大数据实战演练(gh_f942bfc92d26)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-03-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Ambari2.7整体编译+安装使用

    出错的Java文件编码和CheckStyle设置的编码不同。CheckStyle里设置的编码是UTF-8

    create17
  • HBase的ACL说明

    特别说明:该专栏文章均来源自微信公众号《大数据实战演练》,欢迎关注!

    create17
  • 基于Kerberos环境下,使用Java连接操作Hive

    虽然可以使用 Hive 服务本身的 Principal 与 keytab 来连接 Hive ,但使用服务本身的 principal 不具有普遍性,所以还是建议使...

    create17
  • Understanding Convolution in Deep Learning(一)

    卷积可能是目前深度学习中最重要的概念了。卷积和卷积网络是引发深度学习去完成几乎任何机器学习任务的最前沿地概念。但是什么使卷积这么强大?它是如何工作的?在这篇博客...

    哒呵呵
  • Tensorflow 实现各种学习率衰减

    变小,你的步伐也会变慢变小.所以最后的曲线在最小值附近的一小块区域里摆动.所以慢慢减少

    DrawSky
  • CUDA PTX ISA阅读笔记(一)

    不知道这是个啥的看这里:Parallel Thread Execution ISA Version 5.0. 简要来说,PTX就是.cu代码编译出来的一种东西...

    用户1148523
  • GATK4-germline-mut-study Day-1

    这几天一直都在忙着规划自己的学习安排,GATK的学习也是间断的,中间还搁置了一段的时间。我发现,不能推进自己的学习计划简直是太可怕了。。。。。 用代码记录一下...

    liu_ll
  • linux系统中ssd当块设备缓存

    bcache 需要编译最新的内核,要求比较高,配置比较复杂,目前主要用于测试环境;

    力哥聊运维与云计算
  • 蚂蚁金服论文

    通常,图表征学习的目标是学习一个函数:f(\mathcal{X},\mathcal{G}) ,利用\mathcal{G}空间中附加的图结构,而不是传统的只考虑f...

    轻吻晴雯
  • 基于面部照片的亲属关系预测的深度神经网络

    https://www.kaggle.com/c/recognizing-faces-in-the-wild/data

    代码医生工作室

扫码关注云+社区

领取腾讯云代金券