腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(209)
视频
沙龙
2
回答
弹性
MapReduce
中可用的减速器
aggregate
、
amazon
、
hadoop
、
mapreduce
、
reduce
我正在学习关于
弹性
MapReduce
的方法,我看到了许多关于“聚合”减速器的引用,它可以与“流”作业流
一
起使用。在亚马逊的“亚马逊
弹性
MapReduce
简介”中,它指出“亚马逊
弹性
MapReduce
有
一
个名为aggregrate的默认减速器”。 我想知道的是:还有其他可用的默认还原器吗?我知道我可以写我自己的减速机,但我不想写
一
些已经存在的东西,并且“重新发明轮子”,因为我确信我的轮子不会像原来的那样好。
浏览 3
提问于2009-12-22
得票数 12
回答已采纳
2
回答
是否可以将AutoScaling与
弹性
映射推理结合使用?
amazon-web-services
、
amazon-ec2
我想知道,我是否可以使用AutoScaling自动升级或下降亚马逊的Ec2容量,根据cpu的利用率与
弹性
地图减少。例如,我只使用
一
个实例启动
mapreduce
作业,但是如果该实例达到50%的利用率(例如,我希望使用创建的AutoScaling组来启动
一
个新实例)。这有可能吗? 你知道这是否可能吗?或者
弹性
mapreduce
,因为它是“
弹性
的”,如果它需要自动启动更多的实例而没有任何配置?
浏览 3
提问于2015-04-24
得票数 0
回答已采纳
1
回答
Hadoop入门的最简单方法
hadoop
、
elastic-map-reduce
我正在寻找提交
MapReduce
作业的最简单方法。我还阅读了以下答案,但没有找到我想要的:和 谢谢。
浏览 2
提问于2012-11-03
得票数 1
回答已采纳
1
回答
从应用程序运行
弹性
Mapreduce
查询
api
、
hive
、
elastic-map-reduce
我在
弹性
mapreduce
上运行了交互模式的蜂巢:在脚本模式下:我希望在我自己的服务器上有
一
个应用程序(最好是PHP、R或Python)能够旋转
一
个
弹性
mapreduce
我知道构建
一
个集群可能需要
一
些时间,
浏览 6
提问于2012-12-21
得票数 0
2
回答
在Amazon的
弹性
mapreduce
实例上推出了什么AMI?
amazon-ec2
、
amazon-web-services
我还没有找到在Amazon
弹性
mapreduce
实例上运行的AMI。您不能指定
一
个实例,但是可以通过运行
一
个引导操作来自定义
mapreduce
实例。不过,我想知道我是怎么开始的。
浏览 0
提问于2011-03-30
得票数 2
回答已采纳
1
回答
在上的
弹性
MapReduce
上定义HDFS文件
hadoop
、
amazon-web-services
、
mapreduce
我开始在Hadoop KMeans框架上实现
MapReduce
算法。在这方面,我使用了提供的
弹性
MapReduce
。我想要创建
一
个HDFS文件,以保存初始集群坐标,并在其上存储还原器的最终结果。
浏览 0
提问于2014-04-30
得票数 1
回答已采纳
3
回答
地图缩减框架/基础设施
language-agnostic
、
frameworks
、
hadoop
、
mapreduce
地图减少是
一
种模式,最近似乎得到了很多牵引力,我开始看到它体现在我的
一
个项目,重点是
一
个事件处理管道(iPhone加速度计和全球定位系统数据)。我构建的
一
些组件包括EventProcessors (包括输入和输出缓冲区、定时等)、EventListeners、聚合器和分阶段管道。将Map带到了Java。
浏览 9
提问于2010-03-15
得票数 6
回答已采纳
3
回答
将配置表导出到S3存储桶
amazon-s3
、
hive
、
elastic-map-reduce
、
emr
我已经通过
一
个
弹性
MapReduce
交互式会话创建了
一
个配置单元表,并使用CSV文件填充它,如下所示:现在,我希望将配置单元表存储在S3存储桶中,以便在终止
MapReduce
浏览 118
提问于2012-02-29
得票数 22
回答已采纳
2
回答
弹性
MapReduce
的Post钩子
hadoop
、
amazon-web-services
、
hadoop-streaming
、
emr
我想知道是否有电子病历(
弹性
MapReduce
)的后期处理的例子?我试图实现的是在亚马逊的Hadoop完成工作后立即发送
一
封电子邮件给
一
群人。
浏览 1
提问于2013-04-04
得票数 4
回答已采纳
3
回答
双十
一秒杀咋秒杀啊?
费用中心
??????昨天我点都没用
浏览 517
提问于2017-10-27
3
回答
上传4 4GB文件到Amazon-S3
xml
、
amazon-s3
、
amazon-ec2
、
hadoop
、
mapreduce
我正在做
一
些非常简单的数据挖掘(实际上,只是
一
个单词)作为我的本科生计划的研究项目。我需要上传4 4GB的.xml文件。 做这件事最好的方法是什么?或者拆分文件,上传所有小文件,然后使用所有小文件进行流式
MapReduce
作业?
浏览 1
提问于2011-03-28
得票数 3
1
回答
从
弹性
MapReduce
HDFS中获取数据
hadoop
、
elastic-map-reduce
我编写了
一
个Hadoop程序,它需要在HDFS中进行某种布局,然后,我需要将文件从HDFS中取出。它可以在我的单节点Hadoop设置上工作,我很想让它在
弹性
MapReduce
中的10个节点上工作。我
一
直在做这样的事情:JOBID="j-XXX" # output from creation ./elastic-
mapreduce
-j $JOBID --ssh "
浏览 0
提问于2011-10-09
得票数 3
回答已采纳
2
回答
如何终止/删除Amazon中的作业流?
amazon-s3
、
amazon-web-services
、
command-line-interface
、
elastic-map-reduce
、
amazon-emr
我使用亚马逊
弹性
MapReduce
(Amazon )创建了
一
个工作流程,但由于
一
些未知的原因,它失败了。然后,我试图通过AWS管理控制台终止作业流,但是“终止”按钮被禁用。然后,我尝试使用CLI终止作业流,它显示了作业流被终止,但是当通过CLI和管理控制台中的
弹性
MapReduce
选项卡看到它时,它仍然显示为在作业流列表中失败。 请让我知道如何从列表中删除职务流。
浏览 4
提问于2012-04-14
得票数 3
回答已采纳
4
回答
是否可以使用.NET为亚马逊
弹性
MapReduce
编写map/reduce作业?
.net
、
amazon-ec2
、
mapreduce
是否可以使用.NET语言为Amazon Elastic
MapReduce
()编写map/reduce作业?特别是,我想使用C#。上面的情况表明这是不可能的。例如,我可以修改我的账户的
弹性
MapReduce
机器镜像,并在上面安装Mono吗?亚马逊常见问题解答“使用Jar所需的其他软件”()和“如何通过映射器或还原
浏览 4
提问于2009-07-27
得票数 13
回答已采纳
1
回答
支持保留容量的AWS服务
amazon-web-services
、
reserved
提供预留容量的所有AWS服务的列表是什么,从而为该服务提供显著的折扣?
浏览 1
提问于2015-10-14
得票数 0
回答已采纳
1
回答
错误:在运行
弹性
-
mapreduce
指定分布式缓存文件时,字符串的未定义方法"each“
ruby
、
amazon-web-services
、
elastic-map-reduce
undefined method `each' for "s3n://dico-count-words/Cache/dicoClazz.p#dicoClazzCache.p":String ./elastic-
mapreduce
--create --stream \ > --input s
浏览 2
提问于2014-11-11
得票数 4
1
回答
AWS
弹性
mapreduce
似乎没有正确地将流转换为jar
python
、
hadoop
、
amazon-web-services
、
hadoop-streaming
、
elastic-map-reduce
我有
一
个映射器和减速器,当我在管道版本中运行它们时,它们工作得很好:我使用
弹性
映射减少向导,加载输入,输出,引导等等。引导是成功的,但我仍然在执行错误。这是我在第
一
步中的错误.+ PID_FILE=/mnt/var/run/hadoop-state
浏览 1
提问于2013-09-01
得票数 2
回答已采纳
2
回答
使用
弹性
MapReduce
(PIG)处理云前端日志
amazon-web-services
、
mapreduce
、
amazon-cloudfront
、
apache-pig
我想处理亚马逊CloudFront使用亚马逊
弹性
MapReduce
创建的访问日志。我只需要
一
些关于不同文件从cloudfront加载了多少次的简单统计数据,所以我想我应该为此编写
一
个简单的PIG脚本。我遇到的第
一
个问题是cloudfront写的日志是压缩的,据我所知,我不能在pig中读取.gz? 我该怎么做,有什么建议吗?我是elastic
mapreduce
的新手,所以欢迎任何关于如何构建这类工作的提示。
浏览 0
提问于2010-11-01
得票数 0
回答已采纳
1
回答
Kafka中kafka.common.OffsetOutOfRangeException异常的原因是什么
apache-kafka
我正在使用Kafka Mirrormaker来模拟到运行Spark的
弹性
MapReduce
集群的生产流量。下面是我的设置:2) Kafka Mirrormaker的第二个实例使用1)中创建的测试Kafka实例,并发布到新的Kafka集群 3)
弹性
MapReduce
集群消费3)中的Kafka集群。
浏览 0
提问于2018-12-28
得票数 0
1
回答
Amazon上的区域服务器数量
hadoop
、
hbase
、
elastic-map-reduce
假设我在Amazon
弹性
mapreduce
上启动了
一
个集群,并有
一
个主节点实例、两个核心节点实例和15个任务节点实例。 谢谢问候
浏览 1
提问于2013-10-03
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
弹性MapReduce
购物狂欢节,没有硝烟的战争?
双十一大促临时客服去哪找?
双11买家电,这篇文章一定要看!
01 初识 Spark 你应该知道的
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券