如果我在Mapper和Reducer中通过stdout (Java中的System.out)和stderr (Java中的System.err)输出一些消息,我可以在任务跟踪器节点的哪里看到它们?我猜目录位置也可以通过一些参数来配置?
发布于 2012-07-22 10:11:15
这可能取决于您使用的发行版,但是使用我们的cdh3设置,我们可以在运行任务的节点上的/usr/lib/hadoop-0.20/logs/userlogs//下找到它们。例如,stderr将位于:
/usr/lib/hadoop-0.20/logs/userlogs/job_201207010432_5284/attempt_201207010432_5284_m_000214_0/stderr
如果您有权访问集群的作业跟踪器UI,您也可以通过那里访问它们(这是我通常所做的)。
https://stackoverflow.com/questions/11596801
复制相似问题