腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
reduce
阶段
使用
R
函数
scalability
、
rhadoop
、
rmr2
使用
cor()从数据帧中查找相关系数是否存在问题,或者实现此代码对于大数据是否很好?length(data)] = lapply(data[,1:length(data)], as.numeric) cc.
reduce
make.input.format("csv",sep=",",fill = TRUE,stringsAsFactors=FALSE), <
浏览 13
提问于2019-09-30
得票数 0
1
回答
混洗和排序
阶段
是映射还是减少
阶段
的一部分?
hadoop
、
mapreduce
、
hadoop2
我的理解是,
在
mapreduce编程模型中,map和
reduce
是两个
阶段
。完成映射
阶段
后,将生成中间(键、值)值,并将这些值传递给缩减程序。如果是这种情况,combiner()是如何工作的?
浏览 0
提问于2016-08-25
得票数 1
1
回答
Riak MapReduce Javascript奇怪的输出
java
、
javascript
、
mapreduce
、
riak
我正在尝试执行一个简单的聚合的MapReduce作业,但是我试图通过提供我自己的javascript
函数
来完成(为了转移到更复杂的MapReduce作业)。.addMapPhase(mapfunc) .execute(); return [values.length];我看到的问题如下:我的查询和map
阶段
恰好生成了30个值。但是
reduce
<em
浏览 0
提问于2012-11-08
得票数 0
回答已采纳
3
回答
映射->映射->减少->减少->最终输出
hadoop
、
mapreduce
、
chaining
所提出的方法,听起来非常有趣,
使用
了以下MapReduce模型。map->map->
reduce
->
reduce
。也就是说,执行第一映射
阶段
,并将其输出输入到第二
阶段
映射。第二
阶段
映射的输出被输入到第一
阶段
约简。第一
阶段
reduce
的输出被输入到第二
阶段
reduce
,最后结果被刷新到HDFS中。虽然这似乎是一个有趣的方法,但论文没有提到他们是如何实现它的。
浏览 0
提问于2012-03-17
得票数 2
回答已采纳
1
回答
在
Hadoop Src 2.7.1的
Reduce
阶段
,哪个
函数
对Map任务的输出进行排序?排序
阶段
从什么时候开始?
hadoop
、
mapreduce
、
reduce
在
Hadoop Src 2.7.1的
Reduce
阶段
,哪个
函数
对Map任务的输出进行排序?排序
阶段
从什么时候开始? 我想知道,Hadoop中的哪个
函数
负责对Map输出进行排序,
使用
的排序算法是什么?
浏览 4
提问于2015-10-11
得票数 0
1
回答
Mongodb聚合:$
reduce
无法按预期工作
arrays
、
mongodb
、
mongodb-query
、
aggregation-framework
、
reduce
我有一个mongodb聚合$
reduce
管道,它不像预期的那样工作。是我想要达到的目标。我的代码有组
阶段
和其他
阶段
,这些
阶段
产生了
在
$
reduce
阶段
使用
的变量。聚合管道中是否存在可能影响$
reduce
阶段
的已知的前几个
浏览 6
提问于2020-11-27
得票数 1
回答已采纳
1
回答
Map
Reduce
上的
Reduce
函数
显示不正确的结果--为什么?
mongodb
、
mapreduce
来获得每个城市有多少人的列表,因此结果将如下所示: _id: "Seattle",}map = function(){
reduce
= function(key, values){ values.forEach(function(value
浏览 1
提问于2013-07-26
得票数 2
1
回答
Hadoop -
reduce
阶段
的权重
hadoop
、
mapreduce
、
reduce
在
Hadoop 1.0.1中,如何
使用
API来查找
reduce
任务中每个
阶段
的权重? 更明确地说,我正在尝试查看混洗
阶段
、排序
阶段
和合并
阶段
占用了多少
reduce
任务。
浏览 0
提问于2013-07-08
得票数 2
回答已采纳
1
回答
在
reduce
阶段
更改密钥
java
、
apache-spark
、
mapreduce
假设我的(键,值)对现在是:(word1,d2=1)(word3,d1=1)(word1@d1, 1/2)(word2@d1, 2/1)我读了Spark的文档。reduceByKey()将返回( K,V)的数据集,其中V1,V2 -> V和密钥将保持K。但在上面的例子中,K将是K‘,我必须为不同的密钥更新V。我有什么方法可以做到以上几点吗?刚开始学习Spark,我现在很困惑。感谢您的帮助!!
浏览 0
提问于2018-01-30
得票数 0
1
回答
如何选择集群中的map和
reduce
工作进程?
mapreduce
对于mapreduce作业,我们需要指定输入数据的分区( map进程数- M)和
reduce
进程数(
R
)。
在
中是他们经常设置的例子:集群有2000个工作者,M=200000,
R
=5000。worker被标记为map-worker或
reduce
-worker。我想知道集群中的这些工作者是如何选择的。这样做是不是选择了map-worker的固定计数和
reduce
-workers的固定计数?(然后必须将存储
在
reduce
-workers节点中的数据发送到ma
浏览 3
提问于2012-10-16
得票数 1
回答已采纳
2
回答
在
Map/
Reduce
框架中的何处添加特定
函数
hadoop
、
mapreduce
、
distributed-computing
我对MAP/
Reduce
框架有一个一般性的问题。
在
Map
阶段
运行算法,以便在
reduce
阶段
,除了从Map
阶段
收集每个分区的结果并进行汇总之外,不需要执行任何工作
在
Map
阶段
,只需划分分区(包含数据)并将其发送到
reduce
阶段
。
在<
浏览 3
提问于2014-07-06
得票数 0
1
回答
Hadoop和图像的3d渲染
3d
、
rendering
、
hadoop
我可以
使用
标准算法。目标是学习hadoop,而不是图像处理。因此,谁能建议我应该
使用
什么语言,c++或java,以及3d渲染器的一些标准实现。任何其他的帮助都是非常有用的。
浏览 0
提问于2010-09-13
得票数 1
2
回答
在
MapReduce中,减少任务与减速器有何不同?
hadoop
、
mapreduce
在
Mapreduce中,Reducer任务与Reducer有什么不同?Reducer执行减缩任务吗? 非常感谢
浏览 3
提问于2015-11-03
得票数 1
回答已采纳
1
回答
在
单节点中
使用
javascript和python的Riak MapReduce
javascript
、
python
、
dictionary
、
riak
我想在Riak DB中
使用
javascript执行MapReduce作业。但是停留在一开始,我不能理解它是如何返回值的。这里查询是存储桶,用户
在
RiakDB中包含五组数据。我认为map()返回单个值,但它返回5个值的数组,我认为这相当于RiakDB中的5组数据。11在这里,为什么我只能返回数组呢?所以我想我有五个1,由于这个原因,当我
在
map()中处理获取的数据时,返回会给我带来意想不到的结果。 所以请给我一些建议。我认为这是基本的东西,但我不能得到它。我非常感谢你的帮助。
浏览 8
提问于2016-09-22
得票数 0
回答已采纳
1
回答
MapReduce正在跳过密钥吗?
distributed
、
parallel-processing
、
mapreduce
、
cluster-computing
、
qizmt
我正在
使用
一个简单的MapReduce操作的Qizmt运行一个本地的单系统测试。
在
“Map”
阶段
的末尾,我调用:假设这被调用了一百万次,键是1,2,3,4,5,6等等--每个键都是唯一的(毕竟我只是
在
测试)。该
函数
被调用了一百万次,并且输入的值是正确的。 令我惊讶的是,
在
“
Reduce
”
阶段
,实际上只收到了一百个左右的键(也就是说,“
Reduce
”
函数
只被调用了一
浏览 0
提问于2010-08-20
得票数 1
回答已采纳
2
回答
NetSuite映射/还原脚本引发WF_EXEC_USAGE_LIMIT_EXCEEDED异常
javascript
、
netsuite
、
suitescript2.0
我写了一个SuiteScript 2.0Map/
Reduce
脚本。getInputData
函数
只是加载一个事务搜索,然后
在
映射
函数
中,我只是加载一个SalesOrder记录,并获取字段和子列表信息。(我正在构建JSON文件,结果在最后) 我的问题是,
在
它处理了几百条记录之后,我一直
在
点击WF_EXEC_USAGE_LIMIT_EXCEEDED异常。
在
销售订单的record.load行上抛出异常。
浏览 3
提问于2020-06-11
得票数 0
1
回答
你如何在地图/约简中实现排名和排序?
hadoop
、
mapreduce
我正在学习Hadoop中的Java map/
reduce
,并试图用map/
reduce
来思考。下面是我针对apache http服务器日志文件编写的一个示例程序,它有两个
阶段
(每个
阶段
作为一个M/
R
作业实现,然后链接在一起): 第1
阶段
看起来很琐碎,它是map/
reduce
中的一个简单的计数实现,它发出如下内容: 192.168.0.2 4 10.0.0.2
浏览 1
提问于2012-05-13
得票数 2
回答已采纳
1
回答
Riak Map
Reduce
查询需要多长时间?
riak
; } } { "source":" return [values.
reduce
我
在
一个16核的3 3Ghz节点上,有20 of的内存。 我是否可能做错
浏览 3
提问于2013-04-11
得票数 1
回答已采纳
1
回答
在
MapReduce中
使用
自有
函数
创建Avro对象时出现java.lang.IllegalAccessError
java
、
hadoop
、
mapreduce
、
avro
我有一个Hadoop程序,它在映射
阶段
的自创建
函数
中,
在
将数据发送到
reduce
阶段
之前
使用
Avro来存储数据。当我运行这个
函数
时,我得到了这个错误: Caused by: java.lang.IllegalAccessError: tried to access method org.apache.avro.specific.SpecificData
浏览 1
提问于2017-07-19
得票数 2
1
回答
为map和
reduce
阶段
推荐Riak mapreduce Javascript VM池大小?(映射超时错误)
javascript
、
configuration
、
mapreduce
、
virtual-machine
、
riak
我的环大小设置为64个分区,其中8个JS VM用于map
阶段
,16个JS VM用于
reduce
,2个用于挂钩。我计划在集群上添加另一个实例,使其成为3个实例,但我正在尝试在此之前尽可能多地扩展。作为一种变通方法,我传递了"
reduce
_phase_only_1“作为参数。我的查询结构如下: 1) 2i索引搜索2)映射
阶段
以过滤掉已删除的文章3)
reduce
阶段
以按创建时间排序(这是我添加
reduce
_phase_only_1参数的位置) 4)
red
浏览 0
提问于2014-03-12
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python入门基础之map、reduce函数使用
R语言笔记6:在R中写一些简单的函数
在jupyter notebook中使用R语言
REPLACE函数和SUBSTITUTE函数在Excel表格使用的区别
RStudio发布新接口,在R语言中使用TensorFlow
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券