双十二弹性MapReduce哪家好 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

弹性MapReduce中可用的减速器

aggregate、amazon、hadoop、mapreduce、reduce

我正在学习关于弹性MapReduce的方法，我看到了许多关于“聚合”减速器的引用，它可以与“流”作业流一起使用。在亚马逊的“亚马逊弹性MapReduce简介”中，它指出“亚马逊弹性MapReduce有一个名为aggregrate的默认减速器”。我想知道的是：还有其他可用的默认还原器吗？我知道我可以写我自己的减速机，但我不想写一些已经存在的东西，并且“重新发明轮子”，因为我确信我的轮子不会像原来的那样好。

浏览 3提问于2009-12-22得票数 12

回答已采纳

1回答

对于Hadoop:哪个数据存储？

hadoop、hbase、store

为此，我正在考虑将Hadoop用于MapReduce和分布式计算。使用MapReduce模式，我可以创建每组100.000条记录，并将它们分布在集群上，以便进行一些分布式分析/计算。我不知道这是否是一个好的解决办法，但如果你有什么其他我必须考虑的，请告诉我。除此之外，我还必须存储所有这些记录，并每个月使用它们来改进我每天计算的算法。哪家商店最适合这种情况？

浏览 3提问于2015-02-11得票数 0

1回答

关于在Amazon EC2上租用和使用集群

hadoop、amazon-ec2、mapreduce、elastic-map-reduce

我现在正在研究如何改进MapReduce调度器，但不幸的是，我的大学并没有为研究目的提供一个集群。我想租一个集群，我听说过亚马逊EC2，但我对它的服务没有经验，也不知道如何使用它们。我需要5台具有以下规格的机器(每台机器)：我想手动设置Linux操作系统和Hadoop在我选择亚马逊的弹性MapReduce框架的情况下，我能控制Hadoop的de吗？我是否也可以更改其中调度程序的配置，以便设置算法？最后，我

浏览 1提问于2014-12-10得票数 0

2回答

亚马逊上的MapReduce /帐户管理

amazon-web-services、mapreduce

我是AWS的新手。1-请指导我如何为他们创建帐户并为每个帐户分配类似40美元的资金？或者假设他们已经有了AWS账户，我想给每个账户分配40美元。3-我们应该使用什么语言来减少地图。可以使用J

浏览 1提问于2013-10-31得票数 0

6回答

开源分布式计算/云计算框架

distributed、cloud

我想知道有没有人知道什么好的开源分布式计算项目？我有一个计算密集型的程序，可以从分布式计算中受益(就像SETI@Home等)。并想知道是否有人见过这样的东西，或者我会从头开始开发它吗？

浏览 1提问于2009-07-01得票数 4

回答已采纳

6回答

是否有人创建了要部署到AWS Beanstalk实例的Hudson或Jenkins作业？

tomcat、hudson、jenkins、amazon-elastic-beanstalk

我想要移动一个我必须跟踪的应用程序。我想要有一种简单的自动化方式来促进新的构建。beanstalk中的控制台界面很好:我只需获取war文件并上传即可。但是，如果我可以只运行一个Jenkins作业，并在它完成构建war文件时部署它，那就太好了。值得一试，还是我应该直接接受上传页面？

浏览 2提问于2011-06-23得票数 10

回答已采纳

1回答

在不同的机器组上运行Mappers和减速器

hadoop、amazon-web-services、elastic-map-reduce、mapper、reducers

我们有一个好的，大的，复杂的弹性-地图还原工作，在硬件上有很大的不同的限制，为Mapper vs收集器与减速机。因此，问题是：有没有一种方法可以防止减速器在所有映射器完成之前启动？

浏览 0提问于2014-04-12得票数 0

回答已采纳

1回答

基于Spring的spring数据弹性搜索GeoPoint

java、spring、spring-mvc、spring-data-elasticsearch、geopoints

我使用弹性搜索来存储数据()，我需要在我的文档中存储地理位置。类结构采用以下格式。

浏览 2提问于2017-02-08得票数 1

1回答

在hadoop中进行设置成员资格测试的最佳方法是什么？

java、hadoop、amazon-web-services、elastic-map-reduce

但我不确定哪一种是正确的hadoop方式：从我的第一轮还原器输出一个包含用户列表的附带文件，在我的第二轮中读取它--如何避免将整个文件读入内存，如何处理来自多个前端还原器的多个侧文件(是否有一种对侧文件进行排序/合并的好方法我使用的是AWS弹性MapReduce。

浏览 4提问于2011-09-16得票数 0

3回答

用神经网络逼近正弦函数

machine-learning、neural-network

网络采用双曲正切作为隐层的激活函数，输出采用线性函数。结果仍然是对正弦波的粗略估计，需要很长时间才能计算出来。我查看了作为参考，但即便如此，我仍然无法使它与简单的反向传播(通过切换到弹性传播，它开始变得更好，但仍然比超级光滑的R脚本提供的更糟)。所以我真的想做一些不可能的事吗？编辑：我知道，即使使用简单的反向传播(如果您对初始权重非常幸运)，也绝对有可能找到一个好的、足够的近似(如果您非常幸运的话)，但是我更感兴趣的是，这是否是一种可行的方法。我链接到的R脚本似乎与我的实现或者甚至是encog的弹性传播相比，收敛速度非常快

浏览 5提问于2012-12-15得票数 24

1回答

基于弹性搜索的超分类器CouchDB数据的自由文本搜索

elasticsearch、apache-kafka、couchdb、hyperledger-fabric、hyperledger

我们希望建立一个解决方案，允许使用弹性搜索对这些记录进行免费文本搜索。因此，问题是实时地将fabric/CouchDB数据进行弹性搜索。最好的方法是什么。然后，另一项服务可以从卡夫卡阅读并推送到弹性搜索。我喜欢这个想法(“更改数据捕获”)，因为我们可以从Kafka日志中构建其他读取视图。这种方法最大的缺点是：我们进入了的领域，双写(1到织物，1到卡夫卡)，没有好的方法做这两种原子。这使我们易受种族条件和部分失败的影响，(写入fabric成功，但写入kafka失败等)。

浏览 0提问于2018-10-20得票数 3

1回答

用于日志分析的Amazon最佳实践

hadoop、logging、amazon-s3、amazon-emr、hadoop-streaming

我认为这个主题对于许多尝试使用处理访问日志但却找不到好的材料和/或最佳实践的人是有用的。由亚马逊弹性MapReduce?提供的日志处理的最佳实践是什么？

浏览 3提问于2012-03-23得票数 9

回答已采纳

1回答

如何使用Ghostscript将PDF大小调整为8.5x11英寸？

pdf、ghostscript

dNOPAUSE -sPAPERSIZE=letter \ dean08mapreduce.pdf

浏览 2提问于2014-11-18得票数 3

回答已采纳

1回答

从hdfs、集群设置和使用中获取弹性搜索中的数据

hadoop、elasticsearch、apache-spark、cluster-computing、elasticsearch-hadoop

所有的实例都是相同的，16G双核(不幸)。同时，spark集群除了es索引之外还有其他长期运行的任务。解决方案不一定是上述之一，如果有人建议的话，我愿意进行实验。

浏览 1提问于2016-12-22得票数 0

2回答

远程传输所需的更快、更安全、协议/代码

file-transfer、security

在“客户端”，我有一个HP DL380 G5 (2x双核2.66Ghz Xeon's，4GB，Windows2003EE 32位)，在‘服务器’端我有一个HP BL460c G6 (2x四核2.53Ghz

浏览 0提问于2010-05-24得票数 5

回答已采纳

2回答

在mongodb中，是否可以通过四分位数进行有效的聚合？

mongodb、mapreduce、mongodb-query、aggregation-framework

例如，假设我有10,000个要对其进行aggregate()处理的排序文档。但我想把它们分成四分位数:前25%，25% - 50%，50% - 75%，最低25%。在一个管道中是否存在这样的方法，而不是每个四分位数必须执行4个单独的管道？aggregate()- Run other pipeline commands谢谢!

浏览 2提问于2015-01-05得票数 0

回答已采纳

1回答

用Java实现Hadoop中K均值算法的Mapper和Reducer

java、algorithm、hadoop

我正在尝试用java语言在hadoop-1.0.1中实现K means。我现在很沮丧。虽然我得到了k means的完整实现的链接，但作为Hadoop的新手，我想学习它而不是复制别人的代码。我对map和中可用的reduce函数有基本的了解。有人能给我提供实现k means mapper和reducer类的想法吗？它需要迭代吗？

浏览 0提问于2012-05-19得票数 8

回答已采纳

3回答

在实践中最流行的排序算法是什么？

sorting

虽然我怀疑这个问题的答案可能是“受欢迎是不相关的，每个算法都有其权衡”，但我对实践中使用的流行排序算法列表很感兴趣。我正在浏览维基百科排序算法页面，虽然上面没有列出那么多算法，但我仍然没有看到所有算法都在使用。例如，选择排序肯定不会在实践中使用，因为它有一个O(n^2)对吗？那么，哪些是在实践中经常使用的呢？

浏览 0提问于2013-03-06得票数 0

回答已采纳

2回答

跨多个DAS围场展开袭击

raid、direct-attached-storage

这确实是一个最佳做法的问题。每个笼一个RAID -即由一个笼中的所有物理磁盘组成的RAID10，映射为单个LUN到您的服务器/集群。所以从本质上讲，我们最终会得到7架RAID 10。这样，失去笼子不会影响你的其他袭击/笼子。📷

浏览 0提问于2015-08-06得票数 1

回答已采纳

1回答

尽可能有效地计算具有大约60,000个简短符号表达式的向量(Matlab，C)

c、matlab、benchmarking、mex

我没有编码器包，所以我必须手工编写c代码(好的，至少在语法上，我显然将使用Matlab的fprintf来编写65,000个表达式)。这是我第一次写C Mex代码(我有一些基本的C经验)。我已经成功地运行了"hello world“和一些基本的整数和双精度运算，因此我对发生的事情有了一个概念。我想要向Mex文件输入一个8*8双精度矩阵(弹性张量，C1)以及两个双精度值(标量) W1和L。

浏览 1提问于2013-12-15得票数 2

点击加载更多