hadoop数据倾斜优化方法

1、提前在map进行combine，减少传输的数据量 在mapper加上combiner相当于提前进行reduce，即把一个mapper中的相同key进行了聚合，减少shuffle过程中传输的数据量，以及reducer端的计算量。 如果导致数据倾斜的key大量分布在不同的mapper的时候，这种方法就不是很有效了。 2、导致数据倾斜的key大量分布在不同的mapper (1)局部聚合加全局聚合 第一次在map阶段对那些导致数据倾斜的key加上1到n的随机前缀,这样本来相同的key也会被分到多个reducer中进行局部聚合，数据量就会大大降低。 第二次mapreduce，去掉key的随机前缀，进行全局聚合。 思想：二次mr，第一次将key随机散列到不同reducer进行处理达到负载均衡目的。第二次再根据去掉key的随机前缀，按原key进行reduce处理。 这个方法进行两次mapreduce，性能稍差。 (2)增加reducer，提升并行度 JobConf.setNumReduceTasks(int) (3)实现自定义分区 根据数据分布情况，自定义散列函数，将key均匀分配到不同Reducer