Hive Tips Hive使用技巧

http://blog.sina.com.cn/s/blog_6a7df1f1010197d2.html

在Hive中,某些小技巧可以让我们的Job执行得更快,有时一点小小的改动就可以让性能得到大幅提升,这一点其实跟SQL差不多。 首先,Hive != SQL,虽然二者的语法很像,但是Hive最终会被转化成MapReduce的代码去执行,所以数据库的优化原则基本上都不适用于 Hive。也正因如此,Hive实际上是用来做计算的,而不像数据库是用作存储的,当然数据库也有很多计算功能,但一般并不建议在SQL中大量使用计算,把数据库只当作存储是一个很重要的原则。 一、善用临时表 在处理海量数据时我们通常会对很多大表进行操作,基于Hadoop现在的局限性,不能像分布式并行数据库那样很好地在分布式环境利用数据局部性,Hadoop对于大表只能全表扫描并筛选数据,而每一次对大表的扫描都是苦不堪言的。(最后知道真相的我眼泪掉下来。。。) 所以我们会用到在编码中经常用到的重构技巧,提取公共变量,在Hive中,就是创建临时表。 例如:现在要对三个表A、B、C进行处理,Hive QL是: select T1., T2. from

(select id, name from A) T1

join

(select id, price, feedback, type from B) T2

on T1.id = T2.id; select T1., T2. from

(select id, type from C) T1

join

(select id, price,feedback, attribute from B) T2

on T1.id = T2.id; 这里A表和C表只会被扫描一次,而B表会被扫描两次,如果B表的数据量很大,那么扫描B表的时间将会占用很大一块。 这里我们可以先创建一个临时表: create table temp_B as select id, price, feedback, type, attribute from B; 这个表只有B表的部分字段,所以大小会小很多,这里会对B表全表扫一遍。 然后可以用临时表和A、C表做join运算: select T1., T2. from

(select id, name from A) T1

join

(select id, price, feedback, type from temp_B) T2

on T1.id = T2.id; select T1., T2. from

(select id, type from C) T1

join

(select id, price,feedback, attribute from temp_B) T2

on T1.id = T2.id; 这样任务的执行速度将会有极大提升!尽管看起来多了一条Hive QL,但是后两个任务需要扫描的数据将会变得很小。 二、一次执行多个COUNT 如果我们要对多种条件进行COUNT,可以利用case语句进行,这样一条Hive QL就可以完成了。 select count(case when type = 1 then 1 end), count(case when type = 2 then 1 end) from table; 三、导出表文件 首先需要用create table在HDFS上生成你所需要的表,当需要从HDFS上将表对应的文件导出到本地磁盘时有两种方式: 1、如果需要保持HDFS上的目录结构,原封不动地复制下来,采用下面的命令: set hive.exec.compress.output='false'; INSERT OVERWRITE LOCAL DIRECTORY '/home/hesey/directory' select * from table; 这样下载下来的目录中会有很多由Reducer产生的part-文件。 2、如果想把表的所有数据都下载到一个文件中,则采用下面的命令: hadoop dfs -getmerge hdfs://hdpnn:9000/hesey/hive/table /home/hesey/table.txt 这样所有文件会由Hadoop合并后下载到本地,最后就只有/home/hesey/table.txt这一个文件。 四、UDF 在Hive中很多时候都需要做一些复杂的计算或者逻辑处理,这时候Hive本身作为一个通用框架没法很好地支持,所以有了UDF(User Defined Function)。 1、使用UDF (a)如果是已经上传到Hive服务器的UDF,可以直接用 create temporary function dosomething as 'net.hesey.udf.DoSomething'; 声明临时函数,然后在下面的Hive QL中就可以调用dosomething这个方法了。 (b)如果是自己编写的UDF,需要在声明临时函数前再加一行: add jar /home/hesey/foo.jar 这样就可以把自定义的UDF加载进来,然后和(a)一样声明临时函数就可以了。 2、编写UDF 编写UDF十分简单,引入hive-exec包,继承org.apache.hadoop.hive.ql.exec.UDF类,实现evaluate方法即可,方法的输入和输出参数类型就是当你在Hive中调用时的输入和返回值。 例如: public Text evaluate(final LongWritable number); (Text和LongWritable是org.apache.hadoop.io下面的类) 这样我们就可以定义自己的函数并方便地在Hive中调用,而不需要写一个重量级的MapReduce。 五、笛卡尔积 Hive本身是不支持笛卡尔积的,不能用select T1., T2.* from table_1, table_2这种语法。但有时候确实需要用到笛卡尔积的时候,可以用下面的语法来实现同样的效果: select T1., T2. from

(select * from table1) T1

join

(select * from table2) T2

on 1=1; 其中on 1=1是可选的,注意在Hive的Strict模式下不能用这种语法,需要先用set hive.mapred.mode=nonstrict;设为非strict模式就可以用了。 六、join的规则 当Hive做join运算时,join前面的表会被放入内存,所以在做join时,最好把小表放在前面,有利于提高性能并防止OOM。 七、排序 在SQL中排序通过ORDER by实现,Hive中也支持这种语法,但是使用ORDER by时最终所有的数据会汇总到一个Reducer上进行排序,可能使得该Reducer压力非常大,任务长时间无法完成。 如果排序只要求保证Value有序而Key可以无序,例如要统计每个用户每笔的交易额从高到低排列,只需要对每个用户的交易额排序,而用户ID本身不需要排序。这种情况采用分片排序更好,语法类似于: select user_id, amount from table distribute by user_id sort by user_id, amount 这里用到的不是ORDER by,而是distribute by和sort by,distribute by标识Map输出时分发的Key。 这样最后排序的时候,相同的user_id和amount在同一个Reducer上被排序,不同的user_id可以同时分别在多个Reducer上排序,相比ORDER by只能在一个Reducer上排序,速度有成倍的提升。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏有趣的django

Flask构建微电影(二) 第三章、项目分析、搭建目录及模型设计

20400
来自专栏维C果糖

详述 SQL 中的 distinct 和 row_number() over() 的区别及用法

1 前言 在咱们编写 SQL 语句操作数据库中的数据的时候,有可能会遇到一些不太爽的问题,例如对于同一字段拥有相同名称的记录,我们只需要显示一条,但实际上数据库...

32870
来自专栏个人分享

SparkSQL(源码阅读三)

  额,没忍住,想完全了解sparksql,毕竟一直在用嘛,想一次性搞清楚它,所以今天再多看点好了~

57320
来自专栏个人分享

SparkSQL的解析详解

  SparkSQL继承自Hive的接口,由于hive是基于MapReduce进行计算的,在计算过程中大量的中间数据要落地于磁盘,从而消耗了大量的I/O,降低了...

20720
来自专栏SpringBoot 核心技术

第五章:使用QueryDSL与SpringDataJPA实现查询返回自定义对象

86440
来自专栏陈本布衣

SQLite 带你入门

SQLite数据库相较于我们常用的Mysql,Oracle而言,实在是轻量得不行(最低只占几百K的内存)。平时开发或生产环境中使用各种类型的数据库,可能都需要...

48450
来自专栏web编程技术分享

【手把手】JavaWeb 入门级项目实战 -- 文章发布系统 (第十一节)1.根据ID查询文章数据2.评论功能后台业务实现

95340
来自专栏Java帮帮-微信公众号-技术文章全总结

高级框架-springDate-JPA 第二天【悟空教程】

通过annotation(注解)来映射实体类和数据库表的对应关系,基于annotation的主键标识为@Id注解, 其生成规则由@GeneratedValue ...

26610
来自专栏杨建荣的学习笔记

Oracle中的PUBLIC(r10笔记第14天)

Oracle中的PUBLIC是一种特殊的存在,总是感觉概念比较模糊,我们就简单通过几个测试来理解吧。 首先我们创建一个public的synonym,我们看看这...

31840
来自专栏专注 Java 基础分享

初识Hibernate之关联映射(二)

     上篇我们介绍了关联映射的几种形式,有单向多对一,单向一对多,还有双向一对多。本篇接着介绍有关关联映射的其他几种映射方式,主要有以下几种: 基于外键的单...

24550

扫码关注云+社区

领取腾讯云代金券