我是Hadoop的新手！现在，我尝试在Hadoop2.2.0中使用MultipleOutputFormat，但似乎它们只使用不推荐的“JobConf”，而后者又使用了弃推荐的Mapper和Reducer (org.apache.hadoop.mapred.Reducer如何使用新的“org.apache.hadoop.mapreduce.Job”实现多个输出功能？
浏览 0提问于2013-11-26得票数 2
回答已采纳
我正在尝试在Hadoop0.20.1中使用MultipleOutputFormat，它们似乎只适用于过时的'JobConf‘，而后者又使用过时的映射器和还原器(org.apache.hadoop.mapred.Reducer有什么想法可以使用新的'org.apache.hadoop.mapreduce.Job‘来获得多个输出功能(或者至少命名reducer输出功能)？
浏览 0提问于2011-03-19得票数 0
回答已采纳
我是Hadoop的新手。我正在试用字数统计程序。 MultipleOutputs.addNamedOutput(conf, "even",
MultipleOutputs.addNamed
浏览 1提问于2010-08-16得票数 16
回答已采纳
2回答
可能重复：
如何在示例中更改WordCount.java程序中的代码，以便将每个文件的WordCounts输出放在单独的文件上。也就是说，在默认的部分-00000文件中没有一个字计数所有文件。此外，输出文件始终有名称-00000或其他类似的名称，我可以为这个文件选择我想要的输出文件名吗?如果是这样的话，如何选择？
浏览 1提问于2011-04-13得票数 0
回答已采纳
我正在使用Hadoop 0.20，我希望有两个reduce输出文件，而不是一个输出文件。我知道MultipleOutputFormat不能在Hadoop0.20中工作。我将hadoop1.1.1-core jar文件添加到Eclipse中我的项目的构建路径中。但它仍然显示最后一个错误。下面是我的代码：
public static class ReduceStage extends Reducer<IntWritable, Bit
浏览 10提问于2013-09-25得票数 1
我是Hadoop新手，现在必须处理一个输入文件。我想处理每一行，输出应该是每一行对应一个文件。我上网找到了MultipleOutputFormat和generateFileNameForKeyValue。有人能帮帮我吗？
浏览 12提问于2013-05-20得票数 0
回答已采纳
我正在处理hadoop任务，它之前在目录中填充了几个文件，例如由于需求，我修改了这个任务，并使用MultipleOutputs来捕获更多的输出。(JobClient.java:730)中的不一致分裂基数 TextOutputFormat.class, Text.class, Text.class);
我将文件夹中</em
浏览 3提问于2012-03-23得票数 2
回答已采纳
有没有办法控制Hadoop流作业的输出文件名？具体地说，我希望我的作业的输出文件的内容和名称通过ket来组织-每个文件将只包含一个键的值，并且它的名称将是键。更新:刚刚找到了答案-使用从MultipleOutputFormat派生的Java类作为作业输出格式，允许控制输出文件名。我还没见过这方面的样本...谁能指出使用自定义输出格式Java类的Hadoop流示例？
浏览 2提问于2009-05-20得票数 6
回答已采纳
看似简单的事情，如将输出文件格式从"part-xxxxx“更改为与输入文件名相关的内容，似乎相当复杂，而且文档也很少。根据我对Java的总体了解，这似乎不是一个我可以基于模板(然后可以用Java中的HadoopJobConfiguration.AdditionalGenericArguments提供给它)来更改的设置，而是一些实际的代码，这似乎表明完成这一任务的唯一方法是将我的解决方案重新编码为一个实际的.
浏览 2提问于2014-08-12得票数 0
目前，我能够在映射器中实现从part-00000到自定义fileName的名称更改。我正在用inputSplit来做这件事。我在还原器中尝试了同样的方法来重命名文件，但是，fileSplit方法对于还原程序来说是不可用的。那么，是否有最好的方法将还原器的输出重命名为inputfile名称。下面是我是如何在地图上完成的。
浏览 0提问于2014-12-15得票数 1
回答已采纳
我正在尝试读取HBase表TableMapReduceUtil并将数据转储到HDFS中(不要问我为什么。这是头晕，但没有任何其他选择)。但是，为了覆盖还原器的输出文件格式(按键命名)，我发现还原器的MultipleOutputFormat类(由于接口混乱而在0.20中不存在)，而旧类只使用JobConf。但是，如果我尝试用旧的TableMapReduceUtil JobConf编写代码，我就不能使用HBase 0.90的，它只接受作业类。
和Hadoop</em
浏览 1提问于2012-01-15得票数 0
回答已采纳
我正在实现一个Hadoop Map reduce作业，它需要在多个S3对象中创建输出。Hadoop本身只创建一个输出文件(一个S3对象)，但我需要将输出划分为多个文件。
我该如何实现这一点？
浏览 4提问于2009-12-04得票数 1
在map-reduce中，在reducer中发出会导致写入一个名为" output -00000“的输出文件。如果我想在一个reducer中输出到两个不同的文件(显然有两个不同的名字)怎么办？如果可能，我如何才能将输出文件的名称从默认名称更改为默认名称？
浏览 2提问于2013-09-20得票数 0
要使用计数器，我需要拥有对Reporter对象的访问权限。Reporter对象作为参数传递给map()和reduce()，因此我可以这样做: reporter.incrCounter(NUM_RECORDS，1)；问:如何访问MultipleOutputFormat类中的Reporter对象？
浏览 2提问于2011-02-08得票数 2
回答已采纳
1回答
我阅读了，发现在Java中，使用MultipleOutputFormat和MultipleOutputs类，我们可以将数据减少到多个文件中，但我不确定的是，使用Python streaming如何实现相同的功能
浏览 0提问于2011-09-29得票数 5
如何将Mapper中收集的少量元数据传递给Reducer？在我的具体问题中，我只想传递两个MultipleOutputFormat长值，所以我不会对这些值使用或MultipleOutputs。我尝试过的一些变体：Mapper减速器
counter= context.getCounter("Countergrou
浏览 1提问于2012-05-25得票数 1
回答已采纳
1回答
业务案例是，我们希望通过一个列作为分区将一个大的拼图文件分成几个小的文件。我们已经使用dataframe.partition("xxx").write(...)进行了测试。因此，我们将使用map reduce在不同的文件夹中生成不同的拼图文件。._
class RDDMultipleTextOutputFormat extendsclassOf[String],
浏览 2提问于2016-09-02得票数 0
3回答
我有一个映射器，在处理数据时，它将输出分为3种不同的类型(类型是输出键)。我的目标是通过还原器创建3个不同的csv文件，每个文件都包含一个带有头行的键的所有数据。但是，这似乎不起作用，因为键没有映射到特定的减速器。在其他地方，解决这个问题的方法是编写一个自定义分区器类，该类将每个想要的<
浏览 1提问于2011-09-15得票数 3
回答已采纳
我正在使用Apache的DataSet API。我希望实现一个将多个结果写入不同文件的作业。
我怎么能这么做？
浏览 2提问于2016-05-06得票数 3
回答已采纳
2回答
使用MRUnit测试多个输出
、、、、
有没有一种方法可以用使用MultipleOutputFormat写入多个输出文件的MRUnit测试reduce类？
浏览 2提问于2013-01-20得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
即时通信 IM
云直播
实时音视频活动推荐
腾讯云开发者
