如何在启用Sentry的CDH集群中使用UDF
如何在启用Sentry的CDH集群中使用UDF
Fayson
修改于 2018-04-01 19:30:24
修改于 2018-04-01 19:30:24
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
1.文档编写目的
在前面的文章Fayson介绍过UDF的开发及使用《如何在Hive&Impala中使用UDF》，大多数企业在使用CDH集群时，考虑数据的安全性会在集群中启用Sentry服务，这样就会导致之前正常使用的UDF函数无法正常使用。本篇文章主要讲述如何在Sentry环境下使用自定义UDF函数。
- 文章概述
1.部署UDF JAR文件
2.Hive配置
3.授权JAR文件
4.创建临时函数
5.创建永久函数
- 测试环境
1.CM和CDH版本为5.11.2
2.采用sudo权限的ec2-user用户
- 前置条件
1.集群Kerberos已启用
2.集群已安装Sentry服务且正常使用
2.部署UDF JAR包
1.将开发好的UDF JAR包上传至HServer2及Metastore服务所在服务器统一目录
[ec2-user@ip-172-31-22-86 ~]$ sudo mkdir /usr/lib/hive-udf-jars
[ec2-user@ip-172-31-22-86 ~]$ sudo scp sql-udf-utils-1.0-SNAPSHOT.jar /usr/lib/hive-udf-jars/
[ec2-user@ip-172-31-22-86 ~]$ ll /usr/lib/hive-udf-jars/
total 4
-rwxr-xr-x 1 root root 2518 Nov 1 03:37 sql-udf-utils-1.0-SNAPSHOT.jar
[ec2-user@ip-172-31-22-86 ~]$ sudo chown -R hive:hive /usr/lib/hive-udf-jars
[ec2-user@ip-172-31-22-86 ~]$ ll /usr/lib/hive-udf-jars/
total 4
-rwxr-xr-x 1 hive hive 2518 Nov 1 03:37 sql-udf-utils-1.0-SNAPSHOT.jar
[ec2-user@ip-172-31-22-86 ~]$ 
注意：/usr/lib/hive-udf-jars目录及目录下文件的属主为hive，确保hive用户能访问
2.将开发好的UDF JAR上传至HDFS
[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -ls /user/hive/udfjars
Found 1 items
-rw-r--r-- 3 hive hive 2518 2017-11-01 03:49 /user/hive/udfjars/sql-udf-utils-1.0-SNAPSHOT.jar
[ec2-user@ip-172-31-22-86 ~]$
注意：/user/hive/udfjars和jar文件的所属用户必须为hive
3.Hive配置
1.登录CM管理控制台，进入Hive服务
点击配置，选择高级配置，在hive-site.xml文件中增加如下配置
<property>
<name>hive.reloadable.aux.jars.path</name>
<value>/usr/lib/hive-udf-jars</value>
</property>
注意：hive.reloadable.aux.jars.path路径为本地的/usr/lib/hive-udf-jars目录
2.保存配置，回到CM主页根据提示重启Hive服务
4.授权JAR文件
1.使用hive用户登录Hue管理台进行授权
2.进入Hive Tables管理页面，为admin角色增加授权
5.创建临时函数
1.通过beeline通过使用hive用户登录HiveServer2测试
[root@ip-172-31-22-86 ec2-user]# beeline
Beeline version 1.1.0-cdh5.11.2 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-22-86.ap-southeast-1.compute.internal@CLOUDERA.COM
scan complete in 2ms
...
0: jdbc:hive2://localhost:10000/> SELECT parse_date('2017-9-12 5:8:23', "yyyy-MM-dd HH:mm:ss")
. . . . . . . . . . . . . . . . > ;
Error: Error while compiling statement: FAILED: SemanticException [Error 10011]: Line 1:7 Invalid function 'parse_date' (state=42000,code=10011)
0: jdbc:hive2://localhost:10000/>
0: jdbc:hive2://localhost:10000/>
0: jdbc:hive2://localhost:10000/>
0: jdbc:hive2://localhost:10000/> create temporary function parse_date as 'com.peach.date.DateUtils';
...
INFO : OK
No rows affected (0.154 seconds)
0: jdbc:hive2://localhost:10000/> SELECT parse_date('2017-9-12 5:8:23', "yyyy-MM-dd HH:mm:ss")
. . . . . . . . . . . . . . . . > ;
...
INFO : OK
+----------------------+--+
| _c0 |
+----------------------+--+
| 2017-09-12 05:08:23 |
+----------------------+--+
1 row selected (0.229 seconds)
0: jdbc:hive2://localhost:10000/> 
2.退出再次使用beeline登录
[root@ip-172-31-22-86 ec2-user]# beeline
Beeline version 1.1.0-cdh5.11.2 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-22-86.ap-southeast-1.compute.internal@CLOUDERA.COM
…
0: jdbc:hive2://localhost:10000/> SELECT parse_date('2017-9-12 5:8:23', "yyyy-MM-dd HH:mm:ss");
Error: Error while compiling statement: FAILED: SemanticException [Error 10011]: Line 1:7 Invalid function 'parse_date' (state=42000,code=10011)
0: jdbc:hive2://localhost:10000/> 
再次登录临时函数parse_date已不存在。
6.创建永久函数
1.使用hive用户登录Hue，在tpcds_text库下创建parse_date函数
CREATE FUNCTION parse_date as 'com.peach.date.DateUtils'
2.测试parse_date函数是否正常
7.Impala使用Hive的自定义UDF
1.在Impala shell命令行创建函数
[ip-172-31-26-80.ap-southeast-1.compute.internal:21000] > create function parse_date2(string, string) returns string location '/user/hive/udfjars/sql-udf-utils-1.0-SNAPSHOT.jar' symbol='com.peach.date.DateUtils';
Query: create function parse_date2(string, string) returns string location '/user/hive/udfjars/sql-udf-utils-1.0-SNAPSHOT.jar' symbol='com.peach.date.DateUtils'
Fetched 0 row(s) in 0.03s
[ip-172-31-26-80.ap-southeast-1.compute.internal:21000] >
2.使用UDF函数
[ip-172-31-26-80.ap-southeast-1.compute.internal:21000] > SELECT parse_date2('2017-9-12 5:8:23', "yyyy-MM-dd HH:mm:ss");
Query: select parse_date2('2017-9-12 5:8:23', "yyyy-MM-dd HH:mm:ss")
Query submitted at: 2017-11-01 08:58:54 (Coordinator: http://ip-172-31-26-80.ap-southeast-1.compute.internal:25000)
Query progress can be monitored at: http://ip-172-31-26-80.ap-southeast-1.compute.internal:25000/query_plan?query_id=154799fb3ae4df01:3032775a00000000
+-------------------------------------------------------------------+
| tpcds_text.parse_date2('2017-9-12 5:8:23', 'yyyy-mm-dd hh:mm:ss') |
+-------------------------------------------------------------------+
| 2017-09-12 05:08:23 |
+-------------------------------------------------------------------+
Fetched 1 row(s) in 0.03s
[ip-172-31-26-80.ap-southeast-1.compute.internal:21000] > 
8.总结
- 在集群启用了Sentry后，使用Hive创建Function是不能使用USING JAR，所以在加载jar包时只能通过配置hive.reloadable.aux.jars.path路径。
- 创建的临时函数只能在当前会话使用，如果会话关闭则临时函数失效，使用Hue创建的临时函数在退出账号重新登录任然可以使用，重启HiveServer2则临时函数失效。
- 集群启用了Sentry服务，Hive创建函数时指定的是本地的jars，导致在Impala中无法直接使用Hive的函数，需要在Impala shell下重新创建。
另外需要注意：
1.Hive
- 为用户授权JAR文件的GRANT ALL ON URI特权，则用户就可以在他们拥有写权限的数据库上创建Function（即使用户没有GRANT ALL ON SERVER权限）
- 任何用户都可以DROP掉任何Function，不管它有什么权限，即使这个用户没有这个数据库的权限，也可以DROP掉这个数据库下的Function，只要带上Function的全路径，如：
DROP FUNCTION dbname.funcname
- 任何用户都可以使用创建好的Function，不管这个用户的权限，即使这个用户没有这个数据库的权限，只要带上function的全路径，就可以使用，如：
SELECT dbname.funcname()
2.Impala
- 只有拥有GRANT ALL ON SERVER权限的用户才能CREATE/DROP函数。
- 任何用户都可以使用创建好的Function，不管这个用户的权限，即使这个用户没有这个数据库的权限，只要带上function的全路径，就可以使用，如：
SELECT dbname.funcname()
为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2017-11-03，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读