Hive快速入门系列(11) | Hive的自定义函数
本次博主为大家带来的是Hive的自定义函数。
一. 系统内置函数
- 查看系统自带的函数
hive> show functions;
1
我们可以看到hive自带的函数就有两百多个,但我们平时经常用到的可能就那么几个,并且自带的函数功能还十分受限!有时候,为了更好的实现业务需求,这时就需要我们去自定义Hive!在介绍自定义函数之前，还是要把系统内置函数的使用方法介绍一下。
- 显示自带的函数的用法
hive> desc function upper(函数名称);
2
- 详细显示自带的函数的用法
hive> desc function extended upper(函数名称);
3
二. 自定义函数
当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 根据用户自定义函数类别分为以下三种：
- （1）UDF（User-Defined-Function） 一进一出
- （2）UDAF（User-Defined Aggregation Function） 聚集函数，多进一出 类似于：count/max/min
- （3）UDTF（User-Defined Table-Generating Functions）
一进多出
如
lateral view explore()
编程步骤：
（1）继承org.apache.hadoop.hive.ql.exec.UDF （2）需要实现evaluate函数；evaluate函数支持重载； （3）在hive的命令行窗口创建函数 1. 添加jar
java add jar linux_jar_path2. 创建functionjava create [temporary] function [dbname.]function_name AS class_name;（4）在hive的命令行窗口删除函数 Drop [temporary] function [if exists] [dbname.]function_name; ```
注意事项：
（1）UDF必须要有返回类型，可以返回null，但是返回类型不能为void； （2）UDF中常用Text/LongWritable等类型，不推荐使用java类型；
三. 自定义UDF函数
- 1. 创建一个Maven工程Hive，并导入依赖
<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.2.1</version>
</dependency>
</dependencies>
4
- 2. 创建一个类Lower
package com.buwenbuhuo.hive;
import org.apache.hadoop.hive.ql.exec.UDF;
/**
* @author 卜温不火
* @create 2020-04-30 12:07
* com.buwenbuhuo.hive - the name of the target package where the new class or interface will be created.
* hiveplugins - the name of the current project.
*/
public class Lower extends UDF {
public String evaluate (final String s) {
if (s == null) {
return null;
}
return s.toLowerCase();
}
}- 3. 打包并上传到服务器
5
6
- 4. 将jar包添加到hive的classpath
hive (default)> add jar /opt/module/hive/lib/udf.jar;
7
- 5. 创建临时函数与开发好的java class关联(永久的函数将temporary删掉)
hive (default)> create temporary function mylower as "com.buwenbuhuo.hive.Lower";- 6. 调用验证
hive (myhive)> select id, mylower(id) lowername from stu2;
8
四. 通过reflect调用java方法
是不是感觉上述方法略显繁琐。下面介绍的就是简单方法
- 1. 打包上传业务逻辑
package com.buwenbuhuo.hive;
/**
* @author 卜温不火
* @create 2020-04-30 12:36
* com.buwenbuhuo.hive - the name of the target package where the new class or interface will be created.
* hiveplugins - the name of the current project.
*/
class JAVA_02 {
public static String addInfo(String info){
return info+"__, I love Hive! __ ";
}
}
9
- 2. 将jar包添加到hive
hive (myhive)> add jar /opt/module/hive/lib/hive_java.jar;
10
- 3. 调用
select reflect (‘参数一’,‘参数二’,‘参数三’)参数一: 包名-类名 参数二: 方法名 参数三:需要计算的数据
11
本次的分享就到这里了
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2020/05/06 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
腾讯云开发者
