我正在尝试创建一个动态地图缩减应用程序，该应用程序从外部属性文件中获取维度。主要问题在于变量(即密钥)将是复合的，并且可以是任何数字，例如3对密钥、4对密钥等。我的Mapper： }
}
浏览 12提问于2016-08-31得票数 2
我试图在映射器和reducer之间传递一个复杂的可写式，更具体地说是ObjectWritables的ArrayWritable。(ObjectWritable.java:66) at org.apache.hadoop.mapreduce.ReduceContext.nextKeyVal
浏览 2提问于2011-05-06得票数 1
我刚开始和MapReduce合作，我遇到了一个奇怪的错误，我无法通过谷歌回答。我正在使用ArrayWritable编写一个基本程序，但是当我运行它时，我会在还原过程中得到以下错误：java.lang.NoSuchMethodException:org.apache.hadoop.io.ArrayWritable.这是我的密码：
import org.apache.hadoop.conf.Conf
浏览 3提问于2014-06-17得票数 3
回答已采纳
我的mapreduce应用程序如下所示。我想对字符串中的3个值进行求和 extends Mapper<Object个值之和，所以我定义了一个从IntArrayWritable继承的类ArrayWritable。ArrayWritable包含Writable[]-s
import org.apache.hadoop.
浏览 4提问于2017-11-21得票数 0
回答已采纳
2回答
我需要在我的mapreduce作业中使用一个包含2个元素的“元组”作为一个键。也就是说，我希望映射任务输出成对(first_key,second_key), value
我尝试使用ArrayWritable，但在运行我的代码后得到一个错误，结果发现ArrayWritable不适合这样的任务奇怪的是，我找不到任何“正确”的解决方案，我的问题将100%工作，没有任何附加条件。有什么建议吗？
浏览 0提问于2014-04-29得票数 3
我看到了一种使用mapreduce.textoutputformat.separator覆盖键和值之间的分隔符的机制(使用API1.03)。但我希望能够控制记录之间的分隔符。仅供参考，我使用ArrayWritable作为值，使用NullWritable作为键。
浏览 2提问于2013-06-05得票数 5
回答已采纳
1回答
out) throws IOException { out.writeBytes(labelColumn);}java.lang.Exception: java.io.EOFException
at org.apache.hadoop.mapred.LocalJobRunnerat decisiontree.data.ExchangeDataSample.readFields(
浏览 2提问于2015-11-10得票数 1
1回答
在hadoop中序列化数组
、、、、
我想序列化一个字符串数组"textData“，并将其从映射器发送到缩减程序 output, Reporter reporter) throws IOException {
FileSystem fs = File
浏览 0提问于2017-12-19得票数 0
编辑:问题解决了，--我犯了一个非常愚蠢的错误。
我有一个MapReduce管道，由一个map、reduce、map和reduce组成。我要加入的类型是IntWritable和IntPairArrayWritable (一个自定义的ArrayWritable子类，它使用来自mahout的IntPairWritable )。我不确定这是由于我使用ArrayWritable类的方式出错，还是SequenceFile{Input，Output}格式的
浏览 1提问于2012-10-19得票数 1
我在使用ArrayWritable时，我需要检查Hadoop如何序列化ArrayWritable，这是我通过设置job.setNumReduceTasks(0)得到的 aw.set(a); }IntArrayWritable取自javadoc：中给出的示例import org.apache.hadoop</
浏览 1提问于2011-10-28得票数 5
回答已采纳
2回答
我目前正在使用Hadoop0.21.0,985326和一个由6个工作节点和一个头节点组成的集群进行一个项目。提交常规mapreduce作业失败，但我不知道原因。有人见过这个例外吗？java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.: java.lang.NoSuchMethodException: org.apache.hadoop.io.
浏览 2提问于2010-11-20得票数 5
:64) at org.apache.hadoop.io.serializer.WritableSerialization(ReduceContextImpl.java:139)
at org.apache.hadoop.mapreduce.task.ReduceContextImpl.nextKey(ReduceCont
浏览 1提问于2018-03-29得票数 0
回答已采纳
我们如何在hadoop中拥有自己的对象数组？Hadoop是否有类似java的容器，如List、Set、LinkedList等？下面的台词好吗？maxSalaryDeptEmployee.getEmployeeName());ArrayWritablearrayWritable = new A
浏览 2提问于2013-08-17得票数 0
回答已采纳
它看起来是这样的： import org.apache.hadoop.io.ArrayWritable;public class TextArrayWritableTextArrayWritable(Text[] values) { }import org.apache.h
浏览 30提问于2020-09-10得票数 0
我正在编写mapreduce代码，中间映射器输出键是ArrayWritable的文本版本，并且我已经创建了一个类TextArrayWritable，扩展的ArrayWritable.Below是我的代码公共类TextArrayWritable扩展了ArrayWritable {public TextArrayWritable() at org.
浏览 0提问于2015-03-28得票数 0
1回答
我有一个Hadoop MapReduce作业，它分割不同类型的文档(地点、人员、组织、算法等)。对于每个文档，我都有一个标记来标识文档的类型和指向其他文档的链接，但是，在任务中到达链接的页面之前，我不知道哪种文档是链接的文档。在还原器阶段，使用值的"CurrentDoc:: type“按类型对所有文档进行分组，然后发出仅属于某些类型的文档:链接之间的关系。
但是，我有一个内存问题，因为所有
浏览 1提问于2015-10-01得票数 0
1回答
我有三个MapReduce作业，它们生成选项卡分隔的文件，它们对相同的文件进行操作。第一个值是关键。这三位乔布斯的每一项产出都是如此。我现在要做的是使用MapReduce将这些文件按键“缝合”在一起。什么是最好的Mapper输出和减速机输入？我尝试使用ArrayWritable，但由于洗牌，对于某些记录，来自1文件的ArrayWritable位于第三个位置，而不是第二个。\t Values-from
浏览 0提问于2014-10-27得票数 1
回答已采纳
在Apache Hadoop map-reduce程序中，在映射器的输出中使用集合/列表作为键的选项有哪些？我最初的想法是使用ArrayWritable作为键类型，但这是不允许的，因为该类不实现WritableComparable。我是否需要定义一个自定义类，或者在Hadoop库中是否有其他类似类的集合可以充当键？
浏览 1提问于2010-02-01得票数 1
在hadoop的ArrayWritable类中有一个toArray()方法，它应该意味着:将这个ArrayWritable转换为一个数组。但是它的语法是：那么我们应该如何使用这个函数呢？在doc包中没有相关的文档。
浏览 0提问于2011-11-21得票数 1
回答已采纳
我不能使用textfile()方法，因为它将csv文件按行提要拆分，而且我正在读取一个csv文件，该文件在文本字段中包含行提要。Opencsv来自于源代码处理单元内的行提要，这是一个不错的项目，但它接受Reader作为输入。我需要将其转换为字符串，以便将其作为StringReader传递给opencsv。._import org.apache.hadoop.fs._
import org.apache.<em
浏览 4提问于2016-02-25得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
