这是我在调试我的驱动程序时发现的，当调试器试图命中映射器代码时，会出现code.This错误。我的Hfile已创建，但无法加载到Hbase中
16/08/10 04:09:56 INFO mapred.Task: Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin16/08/10 04:09:57 WARN mapred.LocalJobRunner: job_l
浏览 8提问于2016-08-10得票数 1
我是hadoop新手，正在尝试从map-reduce作业的映射器中在HDFS中创建文件。下面的代码在最后一行中生成一个NullPointerException：Path parent
浏览 1提问于2011-01-19得票数 1
回答已采纳
我有一个map-reduce作业，它的输入是一个大数据集(假设大小为100 of )。这个map-reduce作业所做的是将大数据拆分成块，并写入单独的文件，每个数据块一个文件。也就是说，作业的输出是多个文件，每个文件的大小为64MB。
此map-reduce作业的输出用作另一个map-<em
浏览 1提问于2013-09-21得票数 0
1回答
通常，如果我在Hive CLI中编写HQL查询，它将作为map reduce作业执行。如果我在Hive JDBC程序中有一个select查询，它也是一个map reduce作业吗？它是否也具有map reduce作业的所有优点？
浏览 0提问于2018-05-29得票数 0
我正在运行著名的wordcount示例。我有一个本地和prod hadoop设置。同样的例子在prod中也能用，但在本地不能用。谁能告诉我我应该找什么。这项工作变得卡壳了。INFO mapred.JobClient: Running job: job_201308291153_0015本地hadoop以伪分布式模式运行。如果需要一些额外的信息，请告诉我
浏览 0提问于2013-08-30得票数 5
假设多个MapReduce作业链接在一起，如下所示。Map1-Reduce1 -> Map2-Reduce2 -> ... -> MapN-ReduceN
是否将每个MapReduce作业的输出写入HDFS？例如，Map1-Reduce1的输出是否会写入HDFS？并且在Map2-Reduce2中的任务失败的情况
浏览 1提问于2016-10-25得票数 0
不能在分布式集群中远程调试Map reduce作业，因为每个map和reduce都会产生自己的JVM。这到底是什么意思？我们不能为涉及map reduce作业的集群中的每个节点中的每个进程附加调试器吗？
我已经阅读了这么多文章和解决方案，但不能理解在分布式集群中调试map reduce作业背后
浏览 7提问于2020-02-24得票数 1
我有三个map reduce作业，需要配置为cron作业。
我尝试创建cron作业来运行mapreduce，但它不起作用。我的意思是map reduce作业运行未启动。请帮助设置cron作业以运行map reduce作业。我可以使用Oozie来设置工作流作业，但只想使用cronjob。
浏览 1提问于2013-12-26得票数 0
1回答
为了设计一些算法，我需要模拟map-reduce环境。我假设我有两个作业，每个作业都由一组map和reduce任务组成。我必须对map和reduce任务的处理时间做出假设。例如，作业"j1“有3个map任务和2个reduce任务。那么，map任务与reduce任务在处理时间上有什么限制吗？通常是怎么回事？
浏览 0提问于2012-12-13得票数 0
回答已采纳
这个java应用程序执行一些计算，然后基于该数据运行另一个map-reduce作业。由于oozie java操作作为仅地图作业运行，因此它也可以在作业跟踪器中看到。我们的一个节点内存不足，因此任务跟踪器终止了oozie map-only作业，并在另一个节点上重新启动它。然而，在杀死它之前，java应用程序已经产生了它自己的map reduce作业。当oozie仅map</e
浏览 2提问于2014-10-24得票数 0
1回答
纱线最佳减径倍数的确定
、、、
在MRv1中，我们有以下两个可配置参数来设置每个节点的映射和缩减插槽的数量。mapred.tasktracker.map.tasks.maximum此外，建议Map插槽的数量略高于Reduce插槽的数量Map Reduce作业的reducers理想数量应等于或大于群集中可用r
浏览 1提问于2015-06-23得票数 0
5回答
我使用Hadoop开发Map/Reduce。我的驱动程序向Hadoop的作业跟踪器提交一个MapReduce作业(包含Map和Reduce任务)。我有两个问题: a)我的Map或reduce任务是否可以提交另一个MapReduce作业？(使用相同的群集Hadoop和到相同的Job Tracker)。这意味着，我的初学者
浏览 1提问于2012-03-15得票数 2
我使用Oozie是为了安排一个非map-reduce hadoop作业。hadoop作业在oozie中运行，没有任何错误。我想使用该hadoop作业提交另一个非map-reduce hadoop作业。
浏览 1提问于2016-01-12得票数 1
我必须在hadoop 1.0.4中运行许多(可能12个)作业。我希望这五个作业首先并行运行，当所有作业都完成后，并行运行4个其他作业，最后再次运行最后3个作业以并行运行。我如何在hadoop 1.0.4中设置它，因为我看到所有作业都是彼此运行的，而不是并行运行的。
浏览 3提问于2013-04-10得票数 0
我是hadoop的新手，我需要帮助建模map reduce作业。
我有两组文件: GroupA和GroupB。这两组文件的结构是相同的:每一行都有键、值。A组和B组具有相同的密钥组。现在，乍一看似乎是这样的: Map ->从两个组文件中收集密钥分区对组合-分区-排序-混洗->将相同密钥的条目组合到相同的分区中，因此它们落入相同的red
浏览 3提问于2018-07-17得票数 0
回答已采纳
我必须在Java中编写一个Map Reduce作业，该作业使用外部web服务。我的问题是，是否允许从Map Reduce作业的Map函数调用HTTP请求，即：
public static class Map</e
浏览 6提问于2013-06-04得票数 2
如何在Mongo DB中检查map reduce作业的运行状态？我的代码可以运行Mongo map reduce作业，但我希望有一个状态表，列出“正在进行”或“完成”的作业。
浏览 0提问于2012-06-19得票数 1
回答已采纳
我无法理解为Map Reduce和Spark作业分配资源的内部机制。在同一个集群中，我们可以运行Map Reduce和Spark作业，但是对于运行map reduce作业，内部资源管理器将为作业分配可用的资源，如数据节点和任务跟踪器。在内部执行我所需的N个数的映射器和减速器。
当涉及到Spark上下文时，它需要工作节点和执行器(
浏览 1提问于2017-06-10得票数 1
1回答
我是python编程的新手，所以如果我问一些容易解决的问题，请提前原谅。我想使用MapReduce来处理包含一些值的csv文件，并且输出必须返回最大值value.This是我到目前为止编写的脚本： MRWordCounter.run()
现在，脚本运行得很好，它映射和缩减到最大值并将其打印为输出，但我认为我使用yield 'MAXIMUM VALUE IN FILE:'实现它<e
浏览 0提问于2018-03-16得票数 1
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号