首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python在HiveQL中的运用

Python在HiveQL中的运用

作者头像
py3study
发布2020-01-13 10:25:54
1.6K0
发布2020-01-13 10:25:54
举报
文章被收录于专栏:python3python3

在写HiveQL的时候,往往发现内置函数不够用,Hive支持用户自定义函数UDF,使用Java进行开发。很多时候这显得过于繁重。因而Hive中提供了Transform机制(基于hadoop streaming),这种机制相当于提供了一个脚本程序的入口,因此我们可以很方便的使用shell、perl、python等语言进行开发。

Python是很简单易学开发效率也很高的一种脚本语言, 虽然性能上不及Java和Cxx, 但是在大多数情况下, 特别是hadoop这样的分布式环境中,不会成为特别明显的性能瓶颈。

hive中transform的标准语法是下面这样的:

select transform(x, y, z....) using 'xxx.py' as (xx, yy, zz....) from .... 

其中,xyz为待处理的字段,xxx.py即为我们的python脚本。

在执行上面这个hiveql语句之前,需要将相应的脚本文件添加到环境中。

使用add file xxx.py即可,这里的文件名不能加引号。

python脚本可以采用下面这个框架:

def main():     try:         for line in sys.stdin:           n = line.strip()           #your code here...           print  n     except:         return None  if __name__ == "__main__":     main() 

hive会将每一行数据输出到python程序的标准输入中,处理完毕后,python将结果直接打印到标准输出,整个流程就完毕了。

写完脚本后一定要注意测试,直接在命令行下手动输入数据,看看程序处理是否正常。

这一点很重要,如果python程序本身有bug,则在hive语句执行的时候,会抛出broken piple之类异常,这类问题非常隐蔽,需额外注意。而且python文件本身一定要加可执行权限chmod +x abc.py

另外,select中的所有字段,最好全部包含在transform中,否则可能会出现莫名其妙的错误。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-08-11 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档