首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

MapReduce获取分片数目

问题 MapReduce Application中mapper的数目和分片的数目是一样的,但是分片数目和什么有关呢? 默认情况下,分片和输入文件的分块数是相等的。...也不完全相等,如果block size大小事128M,文件大小为128.1M,文件的block数目为2,但是application运行过程中,你会发现分片数目是1,而不是2,其中的机理,后面会分析 有的程序会设置...map的数目,那么map数目是怎样影响分片的数目的呢?...流程 FileInputFormat.getSplits返回文件的分片数目,这部分将介绍其运行流程,后面将粘贴其源码并给出注释 通过listStatus()获取输入文件列表files,其中会遍历输入目录的子目录...numMaps是用户指定的map数目 files中取出一个文件file 计算splitSize。

18930
领券