hive学习笔记之九：基础UDF
原创
欢迎访问我的GitHub
这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos
本篇概览
- 本文是《hive学习笔记》的第九篇，前面学习的内置函数尽管已经很丰富，但未必能满足各种场景下的个性化需求，此时可以开发用户自定义函数（User Defined Function，UDF），按照个性化需求自行扩展；
- 本篇内容就是开发一个UDF，名为udf_upper，功能是将字符串字段转为全大写，然后在hive中使用这个UDF，效果如下图红框所示：
在这里插入图片描述
- 本篇有以下章节：
- 开发
- 部署和验证（临时函数）
- 部署和验证（永久函数）
源码下载
- 如果您不想编码，可以在GitHub下载所有源码，地址和链接信息如下表所示：
名称 | 链接 | 备注 |
|---|---|---|
项目主页 | 该项目在GitHub上的主页 | |
git仓库地址(https) | 该项目源码的仓库地址，https协议 | |
git仓库地址(ssh) | git@github.com:zq2599/blog_demos.git | 该项目源码的仓库地址，ssh协议 |
- 这个git项目中有多个文件夹，本章的应用在hiveudf文件夹下，如下图红框所示：
在这里插入图片描述
开发
- 新建名为hiveudf的maven工程，pom.xml内容如下，有两处需要关注的地方，接下来马上讲到：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.bolingcavalry</groupId>
<artifactId>hiveudf</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.2.2</version>
<scope>provided</scope>
<exclusions>
<exclusion>
<groupId>org.pentaho</groupId>
<artifactId>pentaho-aggdesigner-algorithm</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.7</version>
<scope>provided</scope>
</dependency>
</dependencies>
</project>- 上述pom.xml中，两个依赖的scope为provided，因为这个maven工程最终只需要将咱们写的java文件构建成jar，所以依赖的库都不需要；
- 上述pom.xml中排除了pentaho-aggdesigner-algorithm，是因为从maven仓库下载不到这个库，为了能快速编译我的java代码，这种排除的方式是最简单的，毕竟我用不上（另一种方法是手动下载此jar，再用maven install命令部署在本地）；
- 创建Upper.java，代码如下非常简单，只需存在名为evaluate的public方法即可：
package com.bolingcavalry.hiveudf.udf;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.UDF;
public class Upper extends UDF {
/**
* 如果入参是合法字符串，就转为小写返回
* @param str
* @return
*/
public String evaluate(String str) {
return StringUtils.isBlank(str) ? str : str.toUpperCase();
}
}- 编码已完成，执行mvn clean package -U编译构建，在target目录下得到hiveudf-1.0-SNAPSHOT.jar文件；
- 接下来将咱们做好的UDF部署在hive，验证功能是否正常；
部署和验证（临时函数）
- 如果希望UDF只在本次hive会话中生效，可以部署为临时函数，下面是具体的步骤；
- 将刚才创建的hiveudf-1.0-SNAPSHOT.jar文件下载到hive服务器，我这边路径是/home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar；
- 开启hive会话，执行以下命令添加jar：
add jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;- 执行以下命令创建名为udf_upper的临时函数：
create temporary function udf_upper as 'com.bolingcavalry.hiveudf.udf.Upper';- 找一个有数据并且有string字段的表（我这是student表，其name字段是string类型），执行以下命令：
select name, udf_upper(name) from student;- 执行结果如下，红框中可见udf_upper函数将name字段转为大写：
在这里插入图片描述
- 这个UDF只在当前会话窗口生效，当您关闭了窗口此函数就不存在了；
- 如果您想在当前窗口将这个UDF清理掉，请依次执行以下两个命令：
drop temporary function if exists udf_upper;
delete jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;- 删除后再使用udf_upper会报错：
hive> select name, udf_upper(name) from student;
FAILED: SemanticException [Error 10011]: Line 1:13 Invalid function 'udf_upper'部署和验证（永久函数）
- 前面体验了临时函数，接下来试试如何让这个UDF永久生效(并且对所有hive会话都生效)；
- 在hdfs创建文件夹：
/home/hadoop/hadoop-2.7.7/bin/hadoop fs -mkdir /udflib- 将jar文件上传到hdfs：
/home/hadoop/hadoop-2.7.7/bin/hadoop fs -put /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar /udflib/- 在hive会话窗口执行以下命令，使用hdfs中的jar文件创建函数，要注意的是jar文件地址是hdfs地址，一定不要漏掉hdfs:前缀：
create function udf_upper as 'com.bolingcavalry.hiveudf.udf.Upper'
using jar 'hdfs:///udflib/hiveudf-1.0-SNAPSHOT.jar';- 试一下这个UDF，如下图，没有问题：
在这里插入图片描述
- 新开hive会话窗口尝试上述sql，依旧没有问题，证明UDF是永久生效的；
- 至此，咱们已经对hive的UDF的创建、部署、使用都有了基本了解，但是本篇的UDF太过简单，只能用在一进一出的场景，接下来的文章咱们继续学习多进一出和一进多出。
关于容器和镜像的环境
如果您不想自己搭建kubernetes环境，推荐使用腾讯云容器服务TKE：无需自建，即可在腾讯云上使用稳定， 安全，高效，灵活扩展的 Kubernetes 容器平台；
如果您希望自己的镜像可以通过外网上传和下载，推荐腾讯云容器镜像服务TCR：像数据加密存储，大镜像多节点快速分发，跨地域镜像同步
你不孤单，欣宸原创一路相伴
欢迎关注公众号：程序员欣宸
微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界...
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读