前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hive自定义udf实现md5功能

hive自定义udf实现md5功能

作者头像
我是攻城师
发布2018-05-14 16:30:38
2.8K0
发布2018-05-14 16:30:38
举报
文章被收录于专栏:我是攻城师

Hive自定义UDF实现md5算法

Hive发展至今,自身已经非常成熟了,但是为了灵活性,还是提供了各种各样的 插件的方式,只有你想不到的,没有做不到的,主流的开源框架都有类似的机制,包括Hadoop,Solr,Hbase,ElasticSearch,这也是面向抽象编程的好处,非常容易扩展。

最近在使用hive1.2.0的版本,因为要给有一列的数据生成md5签名,便于查重数据使用,看了下hive的官网文档发现是支持的,后来在Hue里面试了下,发现不支持,还以为是Hue的问题于是在后台hive命令行里面试了下,发现同样不支持,官网的文档应该是Hive2.x的了所以不支持也有可能,但也没必要为了使用个md5函数就把hive升级到最新版本,那样有点本末倒置,那就写个UDF解决吧,以前写过Pig的UDF,非常简单,Hive的应该也不会太难,看了官网文档,果然非常easy,下面看下步骤:

(1) 继承UDF类,定义evaluate方法

注意,这里用的是maven项目,只需要引入hive-exec包即可:

代码语言:javascript
复制
<dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>1.2.1</version>
            <scope>provided</scope>
        </dependency>

evaluate方法并不是重写的方法,而是一个新的方法,Pig里面是需要重写exec方法,来完成自定义逻辑的,代码如下:

代码语言:javascript
复制
package com.easy.md5;import com.google.common.base.Strings;import com.google.common.hash.Hashing;import org.apache.hadoop.hive.ql.exec.UDF;/**
 * Created by qindongliang on 2016/5/23.
 * Hive自定义UDF,计算md5值
 */public class MD5 extends UDF {    /**
     * @param s 传入参数
     * @return md5值
     */
    public String evaluate(final String s) {        if(Strings.isNullOrEmpty(s.trim())){            return null;
        }        return Hashing.md5().hashString(s.trim()).toString();
    }
}

(2)注册Hive的UDF的jar包

程序完成后,打包成jar,然后上传到对应的机器上,开始注册自己的UDF函数,这里有两种方式:


A:临时注册

执行hive命令,进入终端:

代码语言:javascript
复制
add jar /home/hive/udfs/hive-md5-guava-1.0.0.jar;create temporary function md5 as 'com.easy.md5.MD5';select md5('hadoop');--结果: 3abb766da6c2c2d7739f3cb7799a4caa

B:永久注册(hive0.13之后支持)

在linux上,上传jar包至HDFS中

代码语言:javascript
复制
hadoop fs -put hive-md5-guava-1.0.0.jar /user/tez/

进入hive终端

代码语言:javascript
复制
CREATE FUNCTION md5 AS 'com.easy.md5.MD5' USING JAR 'hdfs:///user/tez/hive-md5-guava-1.0.0.jar' ;select md5('hadoop');--结果: 3abb766da6c2c2d7739f3cb7799a4caa--删除临时函数DROP TEMPORARY FUNCTION [IF EXISTS] function_name;--删除永久函数DROP FUNCTION [IF EXISTS] function_name;--重新加载函数 hive1.2.0之后支持RELOAD FUNCTION;

这样就不用每次打开终端都需要注册了

(3)如何在Hue中注册

Hue是一款基于Web可视化提交任务的框架,由python编写,如果想要在hue中,使用自定义的UDF函数,需要稍作配置,否则使用过程中可能会报错,即使你在服务端已经注册过了。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2016-05-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 我是攻城师 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Hive自定义UDF实现md5算法
    • (1) 继承UDF类,定义evaluate方法
    • (2)注册Hive的UDF的jar包
    • (3)如何在Hue中注册
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档