只是为了学习基础，我正在尝试创建一个MapReduce程序，而不是在driver类中定义映射器和缩减程序，以防它使用身份映射器和缩减程序。下面是我的驱动程序类代码。请提个建议。
任何帮助都将受到高度的感谢。提前感谢！
浏览 3提问于2017-07-22得票数 1
回答已采纳
第一个作业只执行map任务1，而不执行reduce任务。这将强制将贴图输出保存在HDFS中。在此作业完成后，我将运行另一个作业，该作业具有标识映射器类2，该作业将读取前一个作业执行产生的映射输出，并生成相同的映射输出。我在3中将身份映射器设置为作业，但在4中得到错误。我认为这个问题的<
浏览 0提问于2015-11-11得票数 0
1回答
我尝试使用Map reduce框架编写一些简单的代码。以前，我使用mapred包实现，并且我能够将输入格式类指定为KeyvalueTextInputFormat，但是在使用mapreduce的新Api中，这个类不存在。com.hp.hpl.mapReduceprocessing.MapReduceWrapper$HitFileProccesorMapper_internal.map(MapReduceWrapper.java:1)
at org.apache.hadoop.mapreduce.Mapper.runM
浏览 1提问于2012-07-18得票数 1
回答已采纳
我有一个运行CDH4的集群，该集群最近从CDH3升级。蜂巢目前运行得很好。然而，我似乎无法让它运行甚至简单的MR流作业(版本1)。纱线已安装，但未使用。下面是命令行的输入和输出
$ /usr/lib/hadoop/bin/hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop- streaming-2.0.0-mr1-
浏览 3提问于2012-07-12得票数 2
我有一个只映射作业，它把序列文件(键是文本，值是BytesWritable)作为输入和输出数据到序列文件(键是NullWritable，值是文本)。;import org.apache.hadoop.mapreduce.lib.input.FileInputFormatcontext) throws IOException, InterruptedException {
/
浏览 2提问于2014-01-04得票数 1
我有一个2 2GB的文件存储在HDFS中。该文件的内容如下：2477
……每行一个数字。我想知道两个数字(任意两个)的总和是45，使用map reduce。谁能说出mapper中的逻辑是什么，reducer中的逻辑是什么？
浏览 0提问于2018-10-08得票数 1
我正在编写一个mapreduce作业，它接受所有节点作为其输入，这些节点的边也指向相同的顶点，而边指向其他顶点(被指定为查询的主题)。这有点难以解释，但在下图中，当查询顶点'A‘时，作为输入的节点集将是{A，B，C}，因为它们都具有来自顶点’1‘的边：要在HBase中执行此查询，我首先在产生{1}的反向边缘列族中查找具有'到目前为止，我唯一的想法是提
浏览 1提问于2011-11-28得票数 2
回答已采纳
3回答
我想写一个map reduce来比较hdfs中的两个大文件。任何关于如何实现这一点的想法。或者，如果没有其他方法来进行比较，因为文件非常大，所以认为map-reduce将是一个理想的方法。谢谢你的帮助。
浏览 0提问于2013-02-21得票数 1
我们使用的是HDP2.5，并且有一个处理来自HBase的行的作业。我为作业设置了开始键和结束键，还试图设置mapreduce.input.fileinputformat.split.maxsize来增加映射器的数量，但与拆分的MaxSize值无关，我得到了25个映射任务例如，mapreduce.input.fileinputformat.spli
浏览 1提问于2016-11-28得票数 0
我正在对hbase集群运行java mapreduce。据我所知，一个区域将由一个映射器读取。这意味着包含较大组的区域被分配给单个<em
浏览 0提问于2013-09-17得票数 0
使用mapreduce模拟内部连接相对简单，只需在reducer中映射公共键和连接值即可完成工作。但是，当涉及到左外部连接时，当左表中有不存在于右表中的键时，就会面临组合填充右表的空白的问题。当映射到reducer中时，不匹配的键将被丢弃，那么如何从左表添加这些不匹配的键呢？例如，假设我们有两个文件：
Left
浏览 0提问于2012-12-10得票数 0
回答已采纳
2回答
这是我的地图缩减程序： import java.util.*; }
在HDFS中，我已经放置了所有必需的输入文件gatkword.jar GatkWordCount /user/hduser&#x
浏览 4提问于2013-12-30得票数 0
当我在Hadoop系统上运行我的map reduce程序时，我发现我的程序可能永远不会停止。当reduce过程达到一个百分比时，map阶段将从100%下降到25%，并且reduce将再次从0%开始，但这种现象似乎进入了一个令人沮丧的循环。我的hadoop程序配置：-D mapred.job.reduce.capacity=6000 \
-D mapred.map.tasks
浏览 1提问于2018-03-27得票数 2
1回答
我有一个长时间运行的MapReduce作业，其中一些映射器比其他映射器占用的时间要多得多。检查web界面上的统计数据，我看到我的组合器也启动了reducers (它大部分都是空闲的，因为只有2个mapper还在运行)。尽管在所有映射器完成之前不浪费时间并执行一些预聚合似乎是合理的，但我找不到任何关于此行为的文档。是否有人能确认这确实是Hadoop
浏览 4提问于2015-05-05得票数 2
1回答
我试图在Golang中实现一个类似mapreduce的方法。我的设计如下：
然后，映射器输出通道由单个goroutine读取。此例程维护先前看到的键值对的映射。如果映射器输出的下一项具有匹配的键，则它会将具有匹配<
浏览 0提问于2016-08-21得票数 0
回答已采纳
1回答
所以Mapper只在包含给定数据块的给定从节点上执行一次，对吗？
但是Reducer可能会执行多次，因为相同的密钥可能来自多个Mapper节点，对吗？另外，对于单个MapReduce作业，在每个Mapper上都会发生混乱和排序，这是正确的吗？
浏览 2提问于2014-01-11得票数 0
回答已采纳
我正在尝试使用Mapreduce库在实时应用程序引擎应用程序上执行数据存储模式迁移。
我的映射器使用DatastoreKeyInputReader。每个map操作使用我的旧模式获取旧实体，执行一些数据操作，然后在新模式下写入新实体(具有新类型)。我使用NDB以事务方式获取和放置实体，并将事务选项"force_writes“设置为True。由于应用程序是实时的，因此我希望在迁移过程中阻止除映射器的事务性写入之外的</e
浏览 0提问于2012-08-13得票数 2
2回答
我选择了云计算，并在Mapreduce中创建了一个用于天气分析的项目。为此，我在笔记本电脑上安装了以下软件。Oracle Virtualbox
我选择Redhat Linux并分配2GB作为主内存。我使用沙箱站点的hadoop映像，并使用virtualbox加载它。如果我的理解是正确的，那么2GB是从我的系统中分配的，MapReduce工作是在我的本地机器上完
浏览 6提问于2013-07-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
