腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(643)
视频
沙龙
2
回答
弹性
MapReduce
中可用的减速器
、
、
、
、
我正在学习关于
弹性
MapReduce
的方法,我看到了许多关于“聚合”减速器的引用,它可以与“流”作业流一起使用。在亚马逊的“亚马逊
弹性
MapReduce
简介”中,它指出“亚马逊
弹性
MapReduce
有
一个名为aggregrate的默认减速器”。 我想知道的是:还有其他可用的默认还原器
吗
?
浏览 3
提问于2009-12-22
得票数 12
回答已采纳
1
回答
从应用程序运行
弹性
Mapreduce
查询
、
、
我在
弹性
mapreduce
上运行了交互模式的蜂巢:在脚本模式下:我希望在我自己的服务器上有一个应用程序(最好是PHP、R或Python)能够旋转一个
弹性
mapreduce
有人对我怎么做
有
什么建议
吗
?
浏览 6
提问于2012-12-21
得票数 0
1
回答
关于在Amazon EC2上租用和使用集群
、
、
、
我现在正在研究如何改进
MapReduce
调度器,但不幸的是,我的大学并没有为研究目的提供一个集群。我想租一个集群,我听说过亚马逊EC2,但我对它的服务没有经验,也不知道如何使用它们。我需要5台具有以下规格的机器(每台机器): 我想手动设置Linux操作系统和Hadoop在我选择亚马逊的
弹性
MapReduce
框架的情况下,我能控制Hadoop的de
吗
?我是否也可以更改其中调度程序的配置,以便
浏览 1
提问于2014-12-10
得票数 0
1
回答
在上的
弹性
MapReduce
上定义HDFS文件
、
、
我开始在Hadoop KMeans框架上实现
MapReduce
算法。在这方面,我使用了提供的
弹性
MapReduce
。我想要创建一个HDFS文件,以保存初始集群坐标,并在其上存储还原器的最终结果。是否
有
创建或“上传”该文件到HDFS格式,以便让所有映射者看到。谢谢。
浏览 0
提问于2014-04-30
得票数 1
回答已采纳
1
回答
在两个独立的
MapReduce
作业之间传递值
、
我
有
一个Hadoop程序,需要将从第一个
MapReduce
任务生成的单个输出传递给第二个
MapReduce
任务。我该怎么做呢。有人能给我一些代码片段
吗
。
浏览 1
提问于2014-02-03
得票数 1
4
回答
是否可以使用.NET为亚马逊
弹性
MapReduce
编写map/reduce作业?
、
、
是否可以使用.NET语言为Amazon Elastic
MapReduce
()编写map/reduce作业?特别是,我想使用C#。上面的情况表明这是不可能的。不过,我想知道是否
有
任何变通方法。例如,我可以修改我的账户的
弹性
MapReduce
机器镜像,并在上面安装Mono
吗
?也许
浏览 4
提问于2009-07-27
得票数 13
回答已采纳
1
回答
从
弹性
MapReduce
HDFS中获取数据
、
它可以在我的单节点Hadoop设置上工作,我很想让它在
弹性
MapReduce
中的10个节点上工作。./elastic-
mapreduce
--create --alive./elastic-
mapreduce
-j $JOBID --ssh "hadoop fs -cp s3://bucket-id/XXX /XXX" .&
浏览 0
提问于2011-10-09
得票数 3
回答已采纳
1
回答
错误:在运行
弹性
-
mapreduce
指定分布式缓存文件时,字符串的未定义方法"each“
、
、
我
有
以下错误:当我运行以下命令行通过
弹性
-
mapreduce
在Amazon集群上启动
mapreduce
算法时,指定一个分布式缓存文件: .这也是我第一次使用AWS和这样的
弹性
-
mapreduce
。请注意,这
浏览 2
提问于2014-11-11
得票数 4
2
回答
使用
弹性
MapReduce
(PIG)处理云前端日志
、
、
、
我想处理亚马逊CloudFront使用亚马逊
弹性
MapReduce
创建的访问日志。我该怎么做,
有
什么建议
吗
?我是elastic
mapreduce
的新手,所以欢迎任何关于如何构建这类工作的提示。
浏览 0
提问于2010-11-01
得票数 0
回答已采纳
1
回答
Amazon上的区域服务器数量
、
、
假设我在Amazon
弹性
mapreduce
上启动了一个集群,并有一个主节点实例、两个核心节点实例和15个任务节点实例。 谢谢问候
浏览 1
提问于2013-10-03
得票数 1
2
回答
为大型数据集生成ngram频率
、
、
、
、
我已经
有
了PostgreSQL中的WEX转储,并且我已经
有
regex来进行拆分(这里不需要主要的准确性)。带Hadoop的
MapReduce
我在Hadoop方面的经验包括在三个EC2实例上计算Pi,效率非常低。还有其他方法
吗
?在接下来的几天里,我最好的选择是什么?
浏览 7
提问于2012-12-06
得票数 1
回答已采纳
1
回答
Amazon Elastic Map Reduce:输入片段大小重要吗
有
10个2 5Gb的输入文件和4个5 5Gb的输入文件
有
区别
吗
?在后一种情况下,亚马逊
弹性
MapReduce
是否可以在10个实例中自动分配4个输入文件的负载?
浏览 0
提问于2011-07-07
得票数 0
2
回答
我可以在.NET Elastic
MapReduce
中运行.NET应用程序(或Amazon dll中的方法)
吗
?
、
、
我可以要求Amazon启动一个
MapReduce
实例并执行我的代码
吗
?
浏览 0
提问于2009-07-13
得票数 0
回答已采纳
1
回答
在AWS
弹性
log4j.properties上修改
MapReduce
文件
、
、
我正在使用AWS
弹性
MapReduce
,我希望能够设置日志记录级别。例如,我希望log.isDebugEnabled()返回true。
有
办法
吗
?
浏览 2
提问于2013-10-09
得票数 2
1
回答
当映射器在EMR流作业中死亡时会发生什么?
、
、
、
、
在
弹性
mapreduce
流作业中,如果映射器突然死亡,会发生什么?已经处理的数据将被重放
吗
?如果是的话,是否
有
任何选项可以禁用该功能? 我是问,因为我使用电子病历插入一些数据到第三方数据库。
浏览 1
提问于2014-04-29
得票数 0
回答已采纳
3
回答
适用于亚马逊网络服务上
MapReduce
的Hadoop或Hadoop流
、
、
、
我即将开始一个
mapreduce
项目,该项目将在亚马逊网络服务上运行,我现在有一个选择,使用Java或C++。我知道用Java语言写这个项目会让我
有
更多的功能可用,但是C++也可以通过Hadoop Streaming来完成它。 请注意,我对这两种语言都没有什么背景。所以我的问题是:这个额外的功能是通过AWS提供的,还是只有在您对云
有
更多控制的情况下才相关?
浏览 1
提问于2009-12-29
得票数 5
回答已采纳
3
回答
如何将
mapreduce
库启动的数据存储写入最小化?
、
、
、
我
有
三个部分来回答这个问题:现在大部分时间,我没有任何
活动
对象。在本例中,
mapreduce
处理程序检查它得到的实体,如果它不是
活动
的,就什么也不做,不写。(粗略计算,60次调用/小时*7小时= 420次调用,50k操作限制/ 420次调用~ 120次写入/调用) Q1:有人
浏览 3
提问于2012-02-22
得票数 4
回答已采纳
3
回答
如何在
MapReduce
中的数据块之间进行数据分区和分布?
、
、
、
我是
MapReduce
新手,我的任务是处理大数据(记录行)。我应该使用的一件事是映射器中特定记录的行号,然后根据映射器处理行号信息。例如,假设现在我
有
一个非常大的input.txt,每一行如下所示:Apple => orange我已经查阅了几个教程,我仍然对
mapreduce</
浏览 5
提问于2014-05-22
得票数 0
1
回答
在
MapReduce
中,数据是如何在数据节点之间分布的?
、
、
我是
MapReduce
新手,我的任务是处理大数据(记录行)。我应该使用的一件事是映射器中特定记录的行号,然后根据映射器处理行号信息。例如,假设现在我
有
一个非常大的input.txt,每一行如下所示:Apple => orange我已经查阅了几个教程,我仍然对
mapreduce</
浏览 2
提问于2014-05-22
得票数 1
2
回答
如何在Hadoop
MapReduce
的Java实现中创建全局变量?
、
、
现在,我希望创建一个全局
双
变量(成员),它可以被
MapReduce
作业中的每个映射器/还原器访问和更改。起初,我试图在我的主java文件中声明一个静态的
双
成员,但这似乎是
有
问题的,因为每个映射器/还原器都运行在一个单独的JVM上,并且可以正确地更改和访问这个成员。我知道对于int变量
有
counter机制。但是,如果我想创建一个全局
双
变量,我如何做到这一点? ,我的最后一个目标是总结一些在所有映射器/还原器中是双重格式的东西。如果我不能或不应该创建全局变量,还
浏览 1
提问于2012-11-05
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
你猜猜双十二有活动么?
第十二届宁波品牌双评选活动公众投票完美收官 奖项依然有悬念
双十二电商活动节可以选择客服托管服务吗?
企业有必要请第三方活动公司策划活动吗?
商会沙龙活动再次点燃行业热情:“双11”的物流人有话说
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券