双十二弹性MapReduce哪里买 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

关于在Amazon EC2上租用和使用集群

hadoop、amazon-ec2、mapreduce、elastic-map-reduce

我现在正在研究如何改进MapReduce调度器，但不幸的是，我的大学并没有为研究目的提供一个集群。我想租一个集群，我听说过亚马逊EC2，但我对它的服务没有经验，也不知道如何使用它们。我需要5台具有以下规格的机器(每台机器)：我想手动设置Linux操作系统和Hadoop在我选择亚马逊的弹性MapReduce框架的情况下，我能控制Hadoop的de吗？我是否也可以更改其中调度程序的配置，以便设置算法？最后，我

浏览 1提问于2014-12-10得票数 0

1回答

错误:在运行弹性-mapreduce指定分布式缓存文件时，字符串的未定义方法"each“

ruby、amazon-web-services、elastic-map-reduce

undefined method `each' for "s3n://dico-count-words/Cache/dicoClazz.p#dicoClazzCache.p":String ./elastic-mapreduce --create --stream \ > --input s3n:/

浏览 2提问于2014-11-11得票数 4

2回答

在哪里设置配置mapreduce.job.jvm.numtasks？

hadoop、mapreduce

我在一本书(专业Hadoop )中读到，可以通过指定作业配置mapreduce.job.jvm.numtasks来启用JVM重用。我的问题是，我们需要在驾驶类中设置这个吗？我试图在mapreduce.Job对象中查找这个配置，但没有找到它。在我正在使用的Hadoop版本的其他地方，这个API能被替换吗？还是我找错地方了？我正在使用Hadoop版本1.0.3。

浏览 2提问于2014-10-19得票数 0

回答已采纳

1回答

在Twilio语音请求中启用Twilio元数据

twilio、twilio-api

我们通过弹性SIP集群向Twilio号码发送电话。我们希望在Twilio请求中使用SIP元数据来使用Twiml路由调用。下面是更详细的场景：期望:呼叫日志将显示一个twilio我已经

浏览 5提问于2017-05-04得票数 0

2回答

Java中的AWS DynamoDB和MapReduce

java、amazon-web-services、mapreduce、amazon-dynamodb、elastic-map-reduce

虽然我理解MapReduce背后真正的基本概念，但我以前从未使用过它。AWS弹性MapReduce可能对我有帮助，但我不知道如何将自定义JAR与DynamoDB连接起来。我的自定义JAR可能需要同时公开一个map和reduce函数，在哪里可以找到合适的接口来实现？

浏览 4提问于2012-04-08得票数 7

1回答

如何将SAS电缆与P440电缆连接

hp、hp-proliant、hardware-raid

我们刚刚买了一个全新的HP智能阵列P440，我们把它放在PCI中，服务器确实检测到了RAID控制器。我的电缆看起来是这样的：数组控制器插槽是这样的： 📷

浏览 0提问于2016-05-11得票数 0

1回答

在亚马逊MapReduce上调用已编译的二进制文件

hadoop、amazon-ec2、mapreduce、elastic-map-reduce、amazon-emr

我正在尝试在亚马逊弹性MapReduce上做一些数据分析。映射器步骤是一个python脚本，其中包含对名为"./formatData“的已编译C++二进制文件的调用。如果是这样的话，我应该在哪里存储二进制文件(在S3中？)，我应该在什么平台上编译它，以及如何确保我的映射器脚本可以访问它(理想情况下，它应该在当前工作目录中)。谢谢!

浏览 0提问于2012-02-07得票数 1

回答已采纳

1回答

启动AWS弹性mapreduce从Java。我的蜂巢剧本该去哪里？

java、amazon-s3、amazon-web-services、hive、elastic-map-reduce

我一直在使用亚马逊弹性MapReduce和Hive开发一个数据处理应用程序。现在，我的Hive脚本在SSH中工作，并使用交互式模式Job运行它们，我正在尝试使用API创建一个Job。/3/script-runner.jar s3://us-east-1.elasticmapreduce/libs/hive/hive-script -base-path s3://us-east-1弹性映射缩减

浏览 3提问于2012-11-19得票数 4

1回答

启动EMR群集时区域错误

amazon-web-services、apache-spark、elastic-map-reduce、emr

红宝石弹性--创建--生动活泼--名为“火花-运动”--引导--行动s3://elasticmapreduce/samples/spark/0.8.1/install-s公园--Shark.sh--引导each' emr-cli/commands.rb:45:in验证中-cli/Commands.rb:2420：create_and_execute_commands' emr-cli/elastic-mapreduce-cli.rbcustom_re

浏览 1提问于2014-07-09得票数 1

1回答

在电子病历作业流中指定其他用户拥有的S3桶

amazon-web-services、amazon-s3、elastic-map-reduce、amazon-emr

我试图使用一个S3桶作为我的弹性地图减少作业流的输入数据。S3桶不属于与EMR作业流相同的帐户。我应该如何和在哪里指定S3桶凭据来访问相应的S3桶。FileSystem.java:256)at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.setInputPaths(FileInputFormat.java:352) at org.apache.hadoop.<e

浏览 1提问于2013-08-23得票数 4

回答已采纳

1回答

AWS数据管道配置了运行Spark的EMR集群

amazon-web-services、amazon-emr、amazon-data-pipeline

我知道我可以像这里说的那样选择Spark作为引导程序操作，但当我这样做时，我会收到这样的消息: Name: xxx.xxxxxxx.processing.dp电子病历版本标签:电子病历-4.3.0启动操作(可选)：s3://support.elasticmapreduce/spark/install-spark，-v,1.4.0.b AMI位在哪里

浏览 1提问于2017-01-13得票数 1

1回答

在hadoop中进行设置成员资格测试的最佳方法是什么？

java、hadoop、amazon-web-services、elastic-map-reduce

问题是，我应该将“用户X从未激活”的数据放在哪里，以便下次在第二轮映射器中遍历流时，我可以查找这个事实？我使用的是AWS弹性MapReduce。

浏览 4提问于2011-09-16得票数 0

1回答

将HDMI图像分割成三维投影仪系统

raspberry-pi、hdmi、projector

我在家里做了一个双投影机3D系统，像这样：因此，输入的HDMI端口上所需的图像可以像上面这样放置，我需要根据格式将它们分割到两个单独的有人能帮我从哪里开始吗？我去过熊猫开发委员会，但那太贵了。我勉强使用了TriDef3D的系统，但这很难工作。

浏览 2提问于2016-05-29得票数 1

回答已采纳

3回答

麋鹿堆作为暹粒-第一步

siem

我有在安全行动中心运行的几个商业暹粒解决方案的经验。我一直在读到一些公司用斯普伦克作为暹粒。我非常喜欢开源解决方案，我发现ELK也可以做同样的事情。我假设ELK平台的输入将是所有的系统日志和系统事件。所有相关、规则和处理都发生在ELK环境中。我说的对吗？感谢您抽出时间，欢迎您提供任何帮助。

浏览 0提问于2015-09-28得票数 4

2回答

在mongodb中，是否可以通过四分位数进行有效的聚合？

mongodb、mapreduce、mongodb-query、aggregation-framework

例如，假设我有10,000个要对其进行aggregate()处理的排序文档。但我想把它们分成四分位数:前25%，25% - 50%，50% - 75%，最低25%。在一个管道中是否存在这样的方法，而不是每个四分位数必须执行4个单独的管道？aggregate()- Run other pipeline commands谢谢!

浏览 2提问于2015-01-05得票数 0

回答已采纳

4回答