MapReduce之片和块的关系

片大小的计算

long splitSize = computeSplitSize(blockSize, minSize, maxSize);

protected long computeSplitSize(long blockSize, long minSize, long maxSize) {
    return Math.max(minSize, Math.min(maxSize, blockSize));
  }

blockSize： 块大小 minSize: minSize从mapreduce.input.fileinputformat.split.minsize和1之间对比，取最大值 maxSize: 读取mapreduce.input.fileinputformat.split.maxsize，如果没有设置，则使用Long.MaxValue作为默认值

默认的片大小就是文件的块大小 文件的块大小默认为128M，默认每片就是128M！

• 调节片大小 > 块大小：配置 mapreduce.input.fileinputformat.split.minsize > 128M
• 调节片大小 < 块大小：配置 mapreduce.input.fileinputformat.split.maxsize < 128M

理论上来说：如果文件的数据量是一定的话，

• 片越大，切片数量少，启动的MapTask少，Map阶段运算慢！
• 片越小，切片数量多，启动的MapTask多，Map阶段运算快！

片和块的关系

片(InputSplit)：

• 在计算MR程序时，才会切片。片在运行程序时，临时将文件从逻辑上划分为若干部分
• 使用的输入格式不同，切片的方式不同，切片的数量也不同
• 每片的数据最终也是以块的形式存储在HDFS

块(Block)： 在向HDFS写文件时，文件中的内容以块为单位存储！块是实际的物理存在！

建议： 片大小最好等于块大小！

因为将片大小设置和块大小一致，可以最大限度减少因为切片带来的磁盘IO和网络IO