问在Hadoop分布式缓存中重用文件

EN

DistributedCache使用引用计数来管理缓存。org.apache.hadoop.filecache.TrackerDistributedCacheManager.CleanupThread负责清理引用计数为0的CacheDirs。每分钟检查一次(默认周期为1分钟，可按"mapreduce.tasktracker.distributedcache.checkperiod").设置

当作业完成或失败时，JobTracker将向TaskTrackers发送org.apache.hadoop.mapred.KillJobAction。然后，如果TaskTracker接收到KillJobAction，它会将操作放入tasksToCleanup。在TaskTracker中，有一个名为taskCleanupThread的后台线程，它从tasksToCleanup执行操作并执行清理工作。对于作业，它将调用purgeJob来清理作业。在此方法中，它将减少此作业使用的引用计数(rjob.distCacheMgr.release();)。

以上分析都是基于hadoop-core-2.0.0-mr1-cdh4.2.1-sources.jar的。我还检查了hadoop-core-0.20.2-cdh3u1-sources.jar，发现这两个版本之间有一点不同。例如，0.20.2-cdh3u1中没有org.apache.hadoop.filecache.TrackerDistributedCacheManager.CleanupThread。初始化作业时，TrackerDistributedCacheManager将检查是否有足够的空间来放置此作业的新缓存文件。如果不是，它将删除引用计数为0的缓存。

如果您使用的是cdh4.2.1，您可以增加"mapreduce.tasktracker.distributedcache.checkperiod“，让清理工作延迟。则多个作业使用相同分布式缓存的概率增加。

如果您使用的是cdh3u1，您可以增加缓存大小的限制(“local.cache.size”，默认为10G)，caches("mapreduce.tasktracker.cache.local.numberdirectories"，的最大目录数默认为10000)。这也可以应用于cdh4.2.1。

如果你仔细观察什么是this book says，就会发现分布式缓存中可以存储的内容是有限制的。默认情况下是10 By (可配置)。群集中可以同时运行多个不同的作业。此外，Hadoop在某种程度上保证了单个作业的文件在缓存中保持可用，因为它是由任务跟踪器为访问缓存中的文件的不同任务进行的引用计数来维护的。在您的情况下，对于后续作业，这些文件可能不存在，因为它们已经标记为要删除。

如果你在任何地方不同意，请纠正我。我很乐意进一步讨论这个问题。

根据这个：http://www.datasalt.com/2011/05/handling-dependencies-and-configuration-in-java-hadoop-projects-efficiently/

您应该能够通过DistributedCache API而不是"-libjars“来实现这一点。