HQL数据倾斜解决方法总结

近来，求职数据分析师常被问到：数据倾斜如何调优？对于经常使用HQL处理大数据的同学，这个问题并不陌生：任务进度长时间维持在99%，而查看监控页面，会发现只有某几个reduce子任务尚未完成，十分诡异。

要解决数据倾斜这个问题，我们需要先了解下数据倾斜产生的原因是什么？一般由于以下三个操作：

count(distinct *), group by , join引起的，导致某个reducer处理的数据过多引起处理时间非常耗时。

因此解决调优的方式可以从3方面入手尝试：

1. 数据层面

• 有损方法：找到异常数据，符合业务场景的前提下，直接过滤
• 无损方法：对分布不均匀的数据，先对key做一层hash，先将数据打散增大并行度，再汇聚

2. 代码方面：

• 使用sum() group by 替代coun(distinct )
• 显式使用mapjoin：/*+mapjoin(x)*/
• 避免多表同时join，使用临时中间表过渡

3. 参数方面：

• 负载均衡：hive.groupby.skewindata=true
• map端聚合：hive.map.aggr = true
• 增加reduce 个数: hive.exec.reducer.max = / mapred.reduce.tasks =
• 采用压缩：hive.exec.compress.output = true /mapredu.output.compress = true (这个方式不完全是解决数据倾斜问题，减少IO读写和网络传输，提高效率）