我是hadoop的新手，我需要帮助建模map reduce作业。任务是将每个单独键的组A和组B的属性组合成该键的第三个属性，然后对所有键的第三个属性求和。现在，乍一看似乎是这样的: Map ->从两个组文件中收集密钥分区对组合-分区-排序-混洗->将相同密钥的条目组合到相同的分区中，因此它们落入相同的r
浏览 3提问于2018-07-17得票数 0
回答已采纳
我使用Oozie是为了安排一个非map-reduce hadoop作业。hadoop作业在oozie中运行，没有任何错误。我想使用该hadoop作业提交另一个非map-reduce hadoop作业。
浏览 1提问于2016-01-12得票数 1
5回答
我使用Hadoop开发Map/Reduce。我的驱动程序向Hadoop的作业跟踪器提交一个MapReduce作业(包含Map和Reduce任务)。我有两个问题: a)我的Map或reduce任务是否可以提交另一个MapReduce作业？(使用相同的群集Hadoop和到相同的Job Tracker)。这意味着，我的初学者驱动程序提交一个mapreduce作业</em
浏览 1提问于2012-03-15得票数 2
3回答
map->map->reduce->reduce。也就是说，执行第一映射阶段，并将其输出输入到第二阶段映射。第二阶段映射的输出被输入到第一阶段约简。第一阶段reduce的输出被输入到第二阶段reduce，最后结果被刷新到HDFS中。虽然这似乎是一个有趣的方法，但论文没有提到他们是如何实现它的。我的问题是，如何实现这种MapReduce链接？
浏览 0提问于2012-03-17得票数 2
回答已采纳
1回答
用Hadoop和Nutch作为搜索引擎，我能做什么呢？我知道nutch是用来构建网络爬虫的。但我找不到完美的照片。我可以在nutch中使用mapreduce并执行一些mapreduce工作吗？
浏览 0提问于2011-09-27得票数 0
回答已采纳
有人能解释一下hadoop是如何决定将作业传递给map和reduce的吗？Hadoop作业被传递到map和reduce上，但我不能弄清楚它是如何完成的。
提前谢谢。
浏览 0提问于2015-06-06得票数 0
我不确定这是否是较新版本的Hadoop已经修复的问题，但我目前只能运行Hadoop 0.20 (遗留代码)。
问题是:当我启动Hadoop作业时，需要首先运行“job setup”任务。在我看来，Hadoop随机选择了这个任务，要么是map任务，要么是reduce任务。我们为map任务配置了比reduce任务更多的容量，所以每当我不走运，有一个reduce启动任务时，我的作业甚至要花很长时间才能开始
浏览 1提问于2015-04-25得票数 0
2回答
> INSERT OVERWRITE TABLE t3 > USING 'q1.txt'> AS reducef1, reducef2;正在启动作业%1(共%1个)开始作业= job_201112281627_0097，跟踪URL =
Kill命令= &#x
浏览 0提问于2012-01-06得票数 1
我正在使用map-reduce作业来阅读hbase，有时我会收到org.apache.hadoop.hbase.quotas.ThrottlingException: 由于整个map reduce作业被终止，有没有办法告诉hb
浏览 5提问于2016-08-26得票数 0
在Eclipse中开发Java Map Reduce作业有哪些选择？我的最终目标是在amazon Hadoop集群上运行我开发的map/reduce逻辑，但我想首先在本地机器上测试逻辑，并在将其部署到更大的集群之前在其中设置断点。我看到有一个用于Eclipse的Hadoop插件，它看起来很旧(如果我错了，请纠正我)，一家名为Karmasphere的公司有用于ecplise和Hadoop的插件，但我不确定它是否仍然可用。如何使用Eclipse开
浏览 0提问于2012-06-13得票数 3
回答已采纳
1回答
我不知道hive优化器是如何工作的，但基本上我想知道hive将运行的hadoop作业的最大数量，只是为了看看瓶颈所在，我尝试了在具有多级查询嵌套的单个表上进行查询，但我从未发现有超过2个hadoop作业提交给我查询结果的情况其中有2个hadoop作业由hive在该查询上提交。Job 0: Map:
浏览 0提问于2014-07-29得票数 0
我正在学习如何在hadoop集群上工作。我在hadoop流媒体上工作了一段时间，在那里我用perl/python编写了map-reduce脚本并运行了作业。然而，对于运行java map reduce作业，我没有找到任何好的解释。例如:我有以下程序-
谁能告诉我，我应该如何实际编译这个程序并运行作业。
浏览 1提问于2012-05-08得票数 1
回答已采纳
我一直在尝试查找有关如何通过命令行提交hadoop作业的信息。我知道命令- hadoop jar jar-file main-class输入输出什么是
浏览 2提问于2012-09-17得票数 1
回答已采纳
我在两个节点(主节点和从节点)上安装了Hadoop。我会问是否可以从Slave machine运行Map/Reduce作业，或者从Slave Machine使用HDFS。从主节点运行map/reduce作业没有问题，但当我尝试从Slave节点运行Map/Reduce作业时，出现以下错误。
Java.net.connectionException在连接异常时失败。
浏览 0提问于2011-12-04得票数 1
3回答
我想知道mongodb中的map reduce作业是否与Hadoop有关。Mongodb中的Mapreduce是独立的，不依赖于任何hadoop安装吗？如果我猜测的是正确的，那么map reduce语法在两者之间是相同的，或者这仅仅意味着mongodb支持自己的map reduce (使用不同的语法)？
浏览 5提问于2012-03-30得票数 0
回答已采纳
reduce任务的数量设置为0，因为没有reduce运算符2017-03-23 12:19:17,371阶段-1 map = 0%，reduce = 0%
已结束作业=作业过程中出现错误的job_local1571094051_0001，正在获取调试信息...失败:执行错误，从启动的org.apache.hadoop.hive.ql.exec.mr.MapRedTaskMapReduce<em
浏览 0提问于2017-03-23得票数 0
我有Map Reduce应用程序，我想使用Spring Batch Yarn逻辑。就像下面的链接中提到的那个。
提前感谢!！
浏览 3提问于2016-10-07得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号