腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
我
自己
的
类
作为
输出
值
时
,
Reducer
不
调用
reduce
方法
MapReduce
Hadoop
、
、
我
试图
使用
我
自己
的
class对象
作为
映射器
的
输出
值
,并在
Reducer
中
使用
它们,但是如果
我
删除DateIncome
类
的
默认构造函数,
reduce
()
方法
不会被
调用
,
我
的
应用程序将被终止。
我
写
的
代码如下:pa
浏览 10
提问于2020-05-14
得票数 0
回答已采纳
1
回答
MapReduce
没有减少?
、
我
正在上学习教程,这是
我
的
代码import org.apache.
hadoop
.io.*;import org.apache.
hadoop
.conf.Configuration; import org.apache.
hadoop
.
mapreduce
.lib.input.F
浏览 2
提问于2015-04-08
得票数 0
回答已采纳
1
回答
程序中驱动程序未
调用
的
还原器
、
、
import org.apache.
hadoop
.io.Text;
浏览 1
提问于2017-05-03
得票数 0
回答已采纳
2
回答
Hadoop
减少单个记录数量
、
、
当map
reduce
有多个
reducer
时
,如何获取每个
reducer
输出
文件
的
单个
输出
记录计数? 现在,
我
可以
使用
REDUCE
_OUTPUT_RECORDS计数器获得减速器
的
总数。但是如何获得单个
的
减数呢?
我
查找每个减速机
的
输出
记录
的
计数...比方说,在总排序顺序分区中,
我
想要每个
浏览 0
提问于2015-06-29
得票数 0
2
回答
在
MapReduce
中,减少任务与减速器有何不同?
、
在
Mapreduce
中,
Reducer
任务与
Reducer
有什么不同?
Reducer
执行减缩任务吗? 非常感谢
浏览 3
提问于2015-11-03
得票数 1
回答已采纳
3
回答
Hadoop
map
reduce
-仅在所有地图运行后才将mapper
的
输出
发送到
reduce
、
只有在所有地图运行后,
我
才需要在一台计算机中发送我
的
地图程序
的
输出
。如果计算机#1运行他
的
地图功能1000次,
我
希望
输出
在所有1000个地图发生后发送。
我
正在实现算法canopy。
我
的
计划是在
我
拥有的每台机器上运行canopy,并找到它
的
本地数据
的
质心。一旦
我
找到了
浏览 3
提问于2016-01-06
得票数 0
2
回答
似乎在
我
的
reducer
类
中没有运行减速器
方法
。
、
我
已经编写了一个
Mapreduce
程序,并在本地机器上运行它,在一个节点集群中安装了
Hadoop
和其他必要
的
包。avil 2310 paracetamol 2402公共
类
VisReducer扩展
Reducer
< Text、IntWritable、
输出
似乎只是一个Mapper
输出
,由于某种原因,Reduceer
类</em
浏览 0
提问于2016-04-12
得票数 0
2
回答
MRUnit不适用于MultipleOutputs
、
、
当我
使用
MRUnit运行基本MultipleOutputs
时
,会得到以下异常:at org.apache.
hadoop
.fs.Path.(MOutputReduce.java:45)at org.apache.
hadoop
.
mapreduce
.
Reducer
.run(<e
浏览 4
提问于2015-04-30
得票数 0
回答已采纳
3
回答
如何在不
使用
repartition和copyMerge
的
情况下合并spark结果文件?
、
、
我
使用
下面的代码:pathToResults目录下有很多文件,比如part-0000,part
我
可以
使用
FileUtil.copyMerge(),但它真的很慢,它下载所有的文件到驱动程序,然后上传到
hadoop
.但是FileUtil.copyMerge()比:
浏览 0
提问于2015-03-13
得票数 7
回答已采纳
3
回答
无法访问
reduce
类
中
的
reduce
方法
、
、
、
public static class
Reduce
extends
Reducer
<Text, Text, Text, Text> private Text txtReduceOutputKey
我
能够访问这个
类
,因为
我
能够初始化这些变量txtReduceOutputKey和txtReduceOutputValue。但是
reduce
方法
在执行时会被忽略。因此,
我
无法运行上述
方法
中
的</e
浏览 4
提问于2015-03-07
得票数 0
1
回答
在
Reducer
类
中运行和减少mehods
、
有人能帮助我解释
Reducer
类
中run()和减()
方法
的
执行流程吗?
我
正在努力计算
我
的
MapReduce
工作中单词数
的
平均值。
我
的
Reducer
类
接收
作为
键值对
的
"word“和”可迭代事件“。
我
的
目标是计算文档中所有单词
的
平均字数。还原器中
的
ru
浏览 1
提问于2014-07-20
得票数 0
回答已采纳
1
回答
找不到
类
: org.apache.
Hadoop
.mapred.lib.KeyFieldBasedPartitioner:-partitioner
、
、
我
正在编写MRjob,并希望根据键来划分
我
的
reducer
输出
。
我
正在
使用
这些选项,并让下面的error.How
使用
基于关键字
的
分区程序?
我
需要为此下载一些东西吗?MRJOB是用python编写
的
。Step 1 of 1 failed: Command '['
hadoop
', 'jar', '/usr
浏览 8
提问于2017-07-17
得票数 0
2
回答
Hadoop
:找不到
类
、
我
刚刚开始学习
hadoop
,并遵循了"
Hadoop
--权威指南“。
我
测试了编写Map和
Reduce
类
的
第一种
方法
,其中Mapper和
Reducer
是接口。代码运行得很好。然后
我
开始编写代码,其中Map和
Reduce
是带有Context
类
的
抽象
类
。顺便说一句,
我
正在
使用
hadoop
浏览 2
提问于2014-11-29
得票数 0
1
回答
hadoop
在所有减速器完成后给出
输出
、
、
、
在代码
的
第一部分中,
我
设置了许多数组来跟踪一些
值
,如下所示: public void configure(JobConf conf){ counttop5=new int[5]但是,在还原器中
的
一些代码之后,
我
想将顶部
的
内容
输出
到
输出
文件中,为了做到这一点,
我
创建了一个close()函数:但是,如您所见,在还原
浏览 1
提问于2013-12-02
得票数 1
回答已采纳
1
回答
Hadoop
Reducer
是如何工作
的
?
、
我
遇到了一个关于
hadoop
如何
调用
其
reducer
方法
的
问题。它是为传递给
reducer
的
每个
值
创建一个
reducer
类
的
新实例,还是只在特定
的
数据节点中创建一个
reducer
类
的
实例,并通过将不同
的
值
传递给同一个
reducer
实例来
调用
浏览 0
提问于2015-08-27
得票数 0
1
回答
ArrayIndexOutOfBoundException在地图还原功能中
的
应用
、
当我删除job.setSortComparatorClass(LongWritable.DecreasingComparator.class);
时
,
我
无法理解这个bug是什么package topten.mostviewed.movies; import j
浏览 0
提问于2018-10-11
得票数 1
1
回答
在尝试hbase批量加载作业
时
,
reducer
使用
bloom过滤器,该过滤器会报告无序输入
、
、
我
正在
使用
我
这样设置
的
map-
reduce
作业进行大规模
的
hbase导入。be full of put statements, should take 10 minutes or so它
使用
我
自己
制作
的
映射器
我
以前已经用这个设置做过概念证明,但是当我在一个大型数据集上运行它
时
,它在
red
浏览 0
提问于2014-08-12
得票数 2
1
回答
使用
Map
Reduce
的
最小最大计数
、
、
我
已经开发了一个Map
reduce
应用程序,可以根据Donald Miner写
的
书来确定用户第一次和最后一次发表评论
的
时间以及该用户
的
评论总数。 但我
的
算法
的
问题是减法器。
我
已经根据用户Id对评论进行了分组。
我
的
测试数据包含两个用户on,每个用户on在不同
的
日期发布3条评论。因此总共有6行。因此,
我
的
reducer
输出
应该打印
浏览 0
提问于2012-12-17
得票数 3
回答已采纳
1
回答
按Python元组进行数值排序
的
MapReduce
、
、
、
、
我
正在
使用
Python元组,并且有一个文本文件,如下所示(2,value2)...如何将
MapReduce
作业配置为按元组中
的
第一个键
作为
整数进行排序
我
的
reduce
作业需要
输出
一个有序
的
元组列表,所以我不想开始用制表符替换括号和逗号。这将是一个痛苦
的
转换回元组。
我
使用
以下参数从bas
浏览 0
提问于2016-05-02
得票数 0
1
回答
ClassCastException无法将可写内容转换为文本
、
我
创建了一个名为TextArrayWritable
的
子类来保存文本数组。它看起来是这样
的
: import org.apache.
hadoop
.io.ArrayWritable;public class TextArrayWritable,
我
生成了一个键-
值
对,其中键是一个文本,
值
是上面的TextArrayWritable。; import org.apache.
hadoop<
浏览 30
提问于2020-09-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop之MapReduce
好程序员大数据教程路线分享marpreduce快速入门
day08.MAPREDUCE详解大数据教程
Hadoop 分布式计算模型MapReduce(四):编程进阶
MapReduce示例-WordCount
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券