0569-5.15.1-开启Sentry后LOAD DATA异常分析

Fayson

发布于 2019-04-29 16:06:53

1.7K1

发布于 2019-04-29 16:06:53

作者：辉少

问题描述

在开启了Sentry的CDH集群中，Hive或Impala的操作会受Sentry的管理，不同的操作需要不同的权限。例如，要在Hive中执行ALTER DATABASE命令，用户需要拥有SERVER或DATABASE的ALL权限。本文是描述关于LOAD DATA的异常，我们先来看看Cloudera官网对于这一块的描述：

具体请参考：

https://www.cloudera.com/documentation/enterprise/5/latest/topics/cm_sg_sentry_service.html#sentry_service

可以看出如果需要LOAD DATA操作，则需要具有ALL或者INSERT权限。本文Fayson描述虽然对于Database赋予了ALL权限，但依旧会报错没有load data 权限异常。

测试环境

1.CM和CDH版本为5.15.1

2.操作系统版本为RedHat7.2

3.集群已启用Kerberos

4.已启用Sentry

以下具体描述该问题，使用以下命令load data到Hive表中，提示user test_sjz does not have privileges for LOAD

use test_sjz;
#加载HDFS中数据到hive表
load data inpath ‘/user/test_sjz/super_store.csv’ into table super_store;
#加载本地数据到hive表
load data local inpath ‘/user/test_sjz/super_store.csv’ into table super_store;

查看test_sjz 用户组的权限，发现是具有test_sjz 库的all 权限的，即表示test_sjz 能使用load data 命令

show grant role test_sjz;

看到提示另一个异常，提示：this required privileges:Server=server1 ….

，于是尝试给HDFS非/user/<username> 目录和文件授权后尝试

发现依旧不能load data。

问题解决

原因在于Sentry将检查 LOAD DATA 语句源文件和目标表。需要目标表上的INSERT和源文件上的URI权限.

即需要将Sentry中的URI权限授予用户主目录（/ user / <username>）的活动用户。如果用户需要从HDFS中加载数据的其他目录的数据，则还必须授予用户在Sentry中的URI权限。授权语法如下：

GRANT ALL ON URI “hdfs://namenode:8020/user/<name> /” TO ROLE <role>;

注：如果你启用的NameNode的HA，建议使用Nademode 的Nameservice 来代替主机名和端口号，这可确保即使NameNode更改，URI也将保持不变。如下图红线圈出的部分所示：

登录hive用户，给/user/test_sjz 目录授权后尝试

GRANT ALL ON URI “hdfs://namenode:8020/user/<name> /” TO ROLE <role>;

然后load data 成功

use test_sjz;
#加载HDFS中数据到hive表
load data impath ‘/user/test_sjz/super_store.csv’ into table super_store;
#加载本地数据到hive表
load data local impath ‘/user/test_sjz/super_store.csv’ into table super_store;