「干货」Hive常用10大应用技巧『Hive系列2』
预计阅读时间：5min
阅读建议：本文总结Hive应用过程中的「实用技巧」及「需避开的坑」，偏知识总结类文章，欢迎「收藏」「分享」哦。
解决痛点：对于工作中经常应用Hive，以及准备去面试的同学，相信此篇文章会让你有所收获。
01
Hive运行顺序
在应用Hive过程中，你是否有过这样的疑问？
「同层查询中，sum/avg聚合后的过滤是否可以放在where后面？」
针对类似问题，只要清楚了Hive SQL的运行顺序，便会迎刃而解，顺序如下：
(步骤7) SELECT count(*) as col1 (步骤8) DISTINCT
(步骤1) FROM
(步骤3) A JOIN B
(步骤2) ON A.x = B.x
(步骤4) WHERE A.y = 1
(步骤5) GROUP BY A.x
(步骤6) HAVING col1 > 100
(步骤9) ORDER BY col1
(步骤10) LIMIT 100因此，针对上面的问题，由于group by是在where的后面，因此sum/avg聚合后的过滤是不可以放在where中的，而是需要放在having当中。
02
数据倾斜出现原因及解决方案
正所谓“不怕数据大，就怕发生数据倾斜”，数据倾斜是Hive经常遇到的问题，同时也是面试的高发问题。针对数据倾斜，小火龙为大家汇总了问题发生的情况，以及处理的方式，如下图：
03
过滤条件放置位置「join 场景」
Join场景中，过滤条件要放在左表和右表的子查询里面，而不要放置在join on外侧过滤。
不建议
Select
t1.x
,t2.x
from
qqq t1
left join
ppp t2
on
t1.key=t2.key
and t1.ds=d1
and t2.ds=d1
;建议
Select
t1.x
,t2.x
from
(select * from a where ds=d1) t1
left join
(select * from b where ds=d1) t2
on
t1.key=t2.key
;04
AB两表放置位置「join场景」
内连接时小表放前面、大表放后面。将较大的表放在inner join操作符的右侧，可以提高查询效率，执行速度快，不容易出现计算内存溢出错误。
[A为小表]
A inner join B on A.key = B.key ;05
hive与mysql/oracle差异「join场景」
内关联场景中，hive与mysql/oracle存在一些差异。
正确写法
A join B on A.key=B.key ;错误写法
from A ,B where A.key=B.key ;下面写法在mysql/oracle等价于内连接，但是在Hive中会导致笛卡尔积，查询无法运行。
06
分区缩小扫描范围「where场景」
有些同学在码SQL的时候，有时会忘记加分区筛选，这会导致全表扫描。不仅会影响自己的产出速度，还会占用过多资源，影响整个集群的使用。
07
distinct与group by的区别「计数场景」
在去重计数场景中，我们经常应用count(distinct)来进行处理；有时也会先在内层通过group by聚合，然后再在外层计数count(*)。那这两者的区别是什么呢？
「group by」适用于数据量级较大的情况
特点：时间复杂度高 + 空间复杂度低。
原理：group by先对列进行排序，类似sort方法，而排序的基本理论是，时间复杂度为nlog(n)，空间复杂度为1。
优点：空间复杂度低，适用于大数据量级。
「distinct」适用于数据量级不大的情况
特点：时间复杂度低 + 空间复杂度高。
原理：distinct需要将col列中的全部内容都存储在一个内存中，可以理解为一个hash结构，key为col的值，最后计算hash结构中有多少个key即可得到结果。需要将所有不同值存储在一起，内存消耗较大。
优点：时间复杂度低，适用于中小数据量级。
08
order by与distribute by sort by的区别「排序场景」
在排序场景中，这两个函数使我们经常遇到的，这两者的区别在于：
「order by」
适用于全局排序，数据放在一个reduce中处理。
「distribute by sort by」
适用于分组排序及全局排序，数据放在多个reduce中处理。
09
union与union all的区别「merge场景」
当需要将多个数据源合并在一起的时候，会遇到union的情况。
「union」
合并过程中，数据集去重合并。例如：输入多相同行，输出保留一行。
「union all」
合并过程中，数据集全部合并。因此，union all支持并行执行。例如：输入多相同行，输出多相同行。
10
哪些场景提供加速查询「limit场景」
众所周知，Hive查询是基于MR执行的，但调用Map/Reduce是存在时间成本的。如果我们只需要取几条探查一下表数据，通常通过limit限制查询的条数，而当where中除分区外没有其他过滤条件时，是不会生成Map/Reduce，数据即可输出，提升效率。
limit不生成Map/Reduce场景（推荐使用）
Select * from A limit 10；
Select * from A where ds = 20121212 limit 10；limit生成Map/Reduce场景
Select * from A where ds = 20220101 and guid=’xxx’ limit 10；
Select a from A limit 10；
Select a from A where ds = 20220101 limit 10；以上就是本期的内容分享，希望能让你对Hive有更深入的理解。