当我尝试在解析MultilineJSONFormat数据的时候运行映射任务时，我得到了下面的错误，我有了所有必要的JAR，程序正在编译，没有任何错误。输入如下： { "name": "Vinson Foreman",genevievecompton@cyclonica.com",
&quo
浏览 1提问于2014-04-07得票数 0
我遇到了一个有趣的情况，我的映射器输入与reducer输出相同(reducer代码不起作用)。这是我的第一个数据集，因为我是一个新手。提前谢谢。2001 32
2001
浏览 15提问于2017-03-16得票数 1
回答已采纳
如果reducer的输出与mapper的输出不同，该怎么办？所有的文档都说它会抛出错误。但我的问题是为什么？Reducer的输出是端点，所以如果它与映射器的输出不同，那么它需要使用setMapoutputkeyclass和setMapoutputvalueclass方法来设置，这很重要……为什么需要它？如果它不匹配，并且不是由除
浏览 0提问于2018-01-22得票数 0
1回答
我理解我们必须使用：job.setReducerClass()job.setMapOutputValueClass()job.setOutputKeyValueClass()
以避免Java泛型中的类型擦除问题。
浏览 1提问于2013-11-22得票数 1
1回答
我正在使用“Hadoop in Practice”一书学习Hadoop，在阅读第1章时，我看到了这个图表：来自Hadoop文档：()
在这个阶段，框架按键分组减缩器输入(因为不同的Mappers可能<em
浏览 3提问于2014-01-04得票数 3
回答已采纳
我通常做一个hadoop fs -get filename，然后通过linux zip command...but压缩它，我能在hdfs中做到这一点吗？
浏览 0提问于2015-09-11得票数 3
(word.lower(), 1)
yield (word, sum(counts))
yield (word, sum(counts))
MRWordFreqCount.run()
我了解这个算法通常是如何工作的，组合器(不需要运行)做什么，以及归约器是<e
浏览 0提问于2012-09-17得票数 1
2回答
当我们将以下命令作为hadoop mapreduce流的一部分运行时1)基于Java的mapreduce作业是否在后台运行？
浏览 1提问于2017-08-05得票数 1
我想用字符串列表填充Cassandra数据库，然后使用Hadoop处理这些字符串。我要做的是使用Hadoop集群按顺序运行所有字符串，并记录每个字符串之间有多少重叠，以便找到最长的公共子字符串。我的问题是，InputFormat对象是否允许我按排序顺序读出数据，或者我的字符串是否会在集群中的每台机器上“随机”读出(根据Cassandra决定如何分配它们)？MapR
浏览 0提问于2013-01-01得票数 0
回答已采纳
是否可以在连续的reducer和mapper之间共享一个值？Map1和Map2正在读取相同的输入<
浏览 0提问于2012-10-31得票数 3
我对使用Avro和map reduce感到非常困惑，并且找不到好的教程来遵循。具体地说：
我的映射器接受LongWritable键和文本值作为输入。它发出文本键<e
浏览 1提问于2012-03-15得票数 6
我正在尝试一个简单的示例，其中一个MapReduce作业的输出应该是另一个MapReduce作业的输入。流程应该是这样的：Mapper1 --> Reducer1 --> Mapper2 --> Reducer2 ( Mapper1的输出必须是Reducer1的输入。Reducer1的
浏览 2提问于2015-06-16得票数 2
当组合器完全运行时，尽管您在驱动程序代码中提到了组合器类，但仍然由hadoop决定是否应该在每个映射器输出上运行它。您能解释一下hadoop是基于什么来决定这个合并器作业的执行吗？
浏览 1提问于2014-01-30得票数 0
如果我们想要按相同的键分组(第一个Reducer的输出)，是否可以将reducer的输出直接发送到另一个reducer
有时，在链接时，我观察到我使用映射器只是为了从输入读取并将其复制到输出。因此想知道idf，可以将输出直接馈送到reducer
浏览 0提问于2012-09-21得票数 7
回答已采纳
3回答
我是MapReduce的初学者，目前正在阅读Jimmy Lin和Chris Dyer ()合著的《用MapReduce进行数据密集型文本处理》一书
浏览 0提问于2014-03-21得票数 0
我有两个单独的java类来做两个不同的mapreduce任务。我可以独立运行它们。对于这两个作业，它们正在操作的输入文件是相同的。所以我的问题是，是否可以在一个java类中定义两个映射器和两个缩减程序，比如mapper2.classreducer2.class
然后就
浏览 0提问于2012-06-20得票数 9
分区是确定哪个reducer实例将接收哪些中间键和值的过程。每个映射器必须为它的所有输出(键、值)对确定哪个reducer将接收它们。对于任何键，无论是哪个映射器实例生成的，目标分区都必须是相同的问题: hadoop是如何实现它的？使用哈希函数？默认功能是什么？
浏览 2提问于2013-08-28得票数 6
回答已采纳
Hadoop输出以下统计数据：
通过将已完成地图的数目/减少与这些平均数相乘，可以得到总地图和缩短时间。但是，如何才能获得总的洗牌/合并时间？或者:如何计算平均洗牌时间？
浏览 4提问于2015-01-23得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
