2回答
我正在学习关于弹性MapReduce的方法，我看到了许多关于“聚合”减速器的引用，它可以与“流”作业流一起使用。在亚马逊的“亚马逊弹性MapReduce简介”中，它指出“亚马逊弹性MapReduce有一个名为aggregrate的默认减速器”。
我想知道的是：还有其他可用的默认还原器吗？我知道我可以写我自己的减速机，但我不想写一些已经存在的东西，并且“重新发明轮子”，因为我确信我的轮子不会像原来的那样好。
浏览 3提问于2009-12-22得票数 12
回答已采纳
1回答
为此，我正在考虑将Hadoop用于MapReduce和分布式计算。使用MapReduce模式，我可以创建每组100.000条记录，并将它们分布在集群上，以便进行一些分布式分析/计算。我不知道这是否是一个好的解决办法，但如果你有什么其他我必须考虑的，请告诉我。
除此之外，我还必须存储所有这些记录，并每个月使用它们来改进我每天计算的算法。哪家商店最适合这种情况？
浏览 3提问于2015-02-11得票数 0
1回答
我现在正在研究如何改进MapReduce调度器，但不幸的是，我的大学并没有为研究目的提供一个集群。我想租一个集群，我听说过亚马逊EC2，但我对它的服务没有经验，也不知道如何使用它们。我需要5台具有以下规格的机器(每台机器)：
我想手动设置Linux操作系统和Hadoop在我选择亚马逊的弹性MapReduce框架的情况下，我能控制Hadoop的de吗？我是否也可以更改其中调度程序的配置，以便设置算法？最后，我
浏览 1提问于2014-12-10得票数 0
我是AWS的新手。1-请指导我如何为他们创建帐户并为每个帐户分配类似40美元的资金？或者假设他们已经有了AWS账户，我想给每个账户分配40美元。3-我们应该使用什么语言来减少地图。可以使用J
浏览 1提问于2013-10-31得票数 0
大家好，我已经进行了配置，使用CURL命令将AWS弹性搜索索引备份到s3存储桶中。但在S3存储桶文件夹中，索引具有不同的名称，而不是弹性搜索中的索引名称。例如:我在弹性搜索中的索引名是alb-accesslog-2018-11-28，dockerlog-2018-11-28。
浏览 5提问于2018-11-29得票数 0
1回答
我试图使用一个S3桶作为我的弹性地图减少作业流的输入数据。S3桶不属于与EMR作业流相同的帐户。我应该如何和在哪里指定S3桶凭据来访问相应的S3桶。FileSystem.java:256)at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.setInputPaths(FileInputFormat.java:352)
at org.apache.hadoop.mapredu
浏览 1提问于2013-08-23得票数 4
回答已采纳
6回答
我想知道有没有人知道什么好的开源分布式计算项目？我有一个计算密集型的程序，可以从分布式计算中受益(就像SETI@Home等)。并想知道是否有人见过这样的东西，或者我会从头开始开发它吗？
浏览 1提问于2009-07-01得票数 4
回答已采纳
我正在使用hadoop-2.5.1和pig-0.13.0，并且我的hadoop集群运行得非常好。当我尝试运行简单的pig脚本时我收到一个错误：2014-11-13 15:41:19,279 [main] INFO org.apache.hadoop.conf.Confi
浏览 0提问于2014-11-13得票数 0
2回答
考虑使用哈希函数h(k) = k mod m将密钥10、22、31、9、15、28、62、88插入长度为m= 11的哈希表中。说明使用h2 (k ) =1+(k(m-1))进行双哈希插入这些键的结果。
1 ->3 ->5 ->7 ->9 -> 31 , Since 31 mod 11 = 9
10-> 10 , Since 10 mo
浏览 11提问于2012-05-11得票数 0
回答已采纳
2回答
otherValue = tokens[4]; }19/11/14 12:53:35 INFO mapreduce.Job: map 0% reduce 0%19/
浏览 19提问于2019-11-14得票数 0
回答已采纳
我试图使用以下命令将其转换为标准字母大小(8.5x11)。dNOPAUSE -sPAPERSIZE=letter \ dean08mapreduce.pdf它实际上是8.3 x 11，而不是8.5 x 11。怎样才能强迫PDF格式准确地成为8.5 x 11**?** ？
浏览 2提问于2014-11-18得票数 3
回答已采纳
在本教程-> 之后，当我试图将自签名SSL证书导入IAM控制台时，我遇到了AWS实例的问题。我SSH到我的实例并运行所有这些命令，但最后当我需要导入它时，我会得到一个错误，即我的帐户没有授权.
调用arn:aws:sts::xxxxxxxxx:assumed-role/aws-elasticbeanstalk-ec2-role/xxxxxxx操作: User：未被授权执行: iam:UploadServerCertificate : arn:aws:iam::xxxxxxxxx:server-cer
浏览 4提问于2021-10-21得票数 0
我想要移动一个我必须跟踪的应用程序。我想要有一种简单的自动化方式来促进新的构建。beanstalk中的控制台界面很好:我只需获取war文件并上传即可。但是，如果我可以只运行一个Jenkins作业，并在它完成构建war文件时部署它，那就太好了。值得一试，还是我应该直接接受上传页面？
浏览 2提问于2011-06-23得票数 10
回答已采纳
1回答
我们有一个好的，大的，复杂的弹性-地图还原工作，在硬件上有很大的不同的限制，为Mapper vs收集器与减速机。因此，问题是：
有没有一种方法可以防止减速器在所有映射器完成之前启动？
浏览 0提问于2014-04-12得票数 0
回答已采纳
初始数据类似于(数字映射到"id“字段，文本映射到”名称“字段)：
- 5 five - 7seven
- 12 twelve - 14 fourteen十五
浏览 3提问于2012-10-16得票数 1
1回答
我只需要在最后一天对文档做一些每日的mapreduce。
任何关于这方面的建议都是最受欢迎的。非常感谢!编辑: MR代码：
db.my_col.mapReduce(map, reduce, {fi
浏览 0提问于2014-01-06得票数 0
回答已采纳
当我使用WindowsSDK7.1命令提示符，使用mvn干净编译.But命令构建apache/Hadoop3.0.0时，当进程转到here.How时，我会遇到一些问题，我能修复这个问题吗？非常感谢你。[INFO] Building Apache Hadoop Common 3.0.0-SNAPSHOT
[INFO] ------------------------------------------------------------
浏览 2提问于2015-07-14得票数 0
回答已采纳
在Fedora启动时，我收到了以下错误：我的计算机双启动Fedora v.30和Windows 10。对上述错误有什么解决方案？
浏览 0提问于2019-08-22得票数 2
总而言之，我希望对第一个mapreduce的输出记录单独实现wordcount。有人能建议我一个好的方法吗?或者我如何链接第二个map reduce作业来创建上面的输出或更好地格式化它？;import org.apache.hadoop.mapreduce.Reducer;import javax.xml.stream.*;
浏览 0提问于2013-08-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
