腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(209)
视频
沙龙
2
回答
弹性
MapReduce
中可用的减速器
、
、
、
、
我正在学习关于
弹性
MapReduce
的方法,我看到了许多关于“聚合”减速器的引用,它可以与“流”作业流
一
起使用。在亚马逊的“亚马逊
弹性
MapReduce
简介”中,它指出“亚马逊
弹性
MapReduce
有
一
个名为aggregrate的默认减速器”。 我想知道的是:还有其他可用的默认还原器吗?我知道我可以写我自己的减速机,但我不想写
一
些已经存在的东西,并且“重新发明轮子”,因为我确信我的轮子不会像原来的那样好。
浏览 3
提问于2009-12-22
得票数 12
回答已采纳
2
回答
是否可以将AutoScaling与
弹性
映射推理结合使用?
、
我想知道,我是否可以使用AutoScaling自动升级或下降亚马逊的Ec2容量,根据cpu的利用率与
弹性
地图减少。例如,我只使用
一
个实例启动
mapreduce
作业,但是如果该实例达到50%的利用率(例如,我希望使用创建的AutoScaling组来启动
一
个新实例)。这有可能吗? 你知道这是否可能吗?或者
弹性
mapreduce
,因为它是“
弹性
的”,如果它需要自动启动更多的实例而没有任何配置?
浏览 3
提问于2015-04-24
得票数 0
回答已采纳
1
回答
Hadoop入门的最简单方法
、
我正在寻找提交
MapReduce
作业的最简单方法。我还阅读了以下答案,但没有找到我想要的:和 谢谢。
浏览 2
提问于2012-11-03
得票数 1
回答已采纳
1
回答
从应用程序运行
弹性
Mapreduce
查询
、
、
我在
弹性
mapreduce
上运行了交互模式的蜂巢:在脚本模式下:我希望在我自己的服务器上有
一
个应用程序(最好是PHP、R或Python)能够旋转
一
个
弹性
mapreduce
我知道构建
一
个集群可能需要
一
些时间,
浏览 6
提问于2012-12-21
得票数 0
2
回答
在Amazon的
弹性
mapreduce
实例上推出了什么AMI?
、
我还没有找到在Amazon
弹性
mapreduce
实例上运行的AMI。您不能指定
一
个实例,但是可以通过运行
一
个引导操作来自定义
mapreduce
实例。不过,我想知道我是怎么开始的。
浏览 0
提问于2011-03-30
得票数 2
回答已采纳
1
回答
在上的
弹性
MapReduce
上定义HDFS文件
、
、
我开始在Hadoop KMeans框架上实现
MapReduce
算法。在这方面,我使用了提供的
弹性
MapReduce
。我想要创建
一
个HDFS文件,以保存初始集群坐标,并在其上存储还原器的最终结果。
浏览 0
提问于2014-04-30
得票数 1
回答已采纳
3
回答
地图缩减框架/基础设施
、
、
、
地图减少是
一
种模式,最近似乎得到了很多牵引力,我开始看到它体现在我的
一
个项目,重点是
一
个事件处理管道(iPhone加速度计和全球定位系统数据)。我构建的
一
些组件包括EventProcessors (包括输入和输出缓冲区、定时等)、EventListeners、聚合器和分阶段管道。将Map带到了Java。
浏览 9
提问于2010-03-15
得票数 6
回答已采纳
3
回答
将配置表导出到S3存储桶
、
、
、
我已经通过
一
个
弹性
MapReduce
交互式会话创建了
一
个配置单元表,并使用CSV文件填充它,如下所示:现在,我希望将配置单元表存储在S3存储桶中,以便在终止
MapReduce
浏览 118
提问于2012-02-29
得票数 22
回答已采纳
2
回答
弹性
MapReduce
的Post钩子
、
、
、
我想知道是否有电子病历(
弹性
MapReduce
)的后期处理的例子?我试图实现的是在亚马逊的Hadoop完成工作后立即发送
一
封电子邮件给
一
群人。
浏览 1
提问于2013-04-04
得票数 4
回答已采纳
3
回答
双十
一秒杀咋秒杀啊?
??????昨天我点都没用
浏览 523
提问于2017-10-27
3
回答
上传4 4GB文件到Amazon-S3
、
、
、
、
我正在做
一
些非常简单的数据挖掘(实际上,只是
一
个单词)作为我的本科生计划的研究项目。我需要上传4 4GB的.xml文件。 做这件事最好的方法是什么?或者拆分文件,上传所有小文件,然后使用所有小文件进行流式
MapReduce
作业?
浏览 1
提问于2011-03-28
得票数 3
1
回答
从
弹性
MapReduce
HDFS中获取数据
、
我编写了
一
个Hadoop程序,它需要在HDFS中进行某种布局,然后,我需要将文件从HDFS中取出。它可以在我的单节点Hadoop设置上工作,我很想让它在
弹性
MapReduce
中的10个节点上工作。我
一
直在做这样的事情:JOBID="j-XXX" # output from creation ./elastic-
mapreduce
-j $JOBID --ssh "
浏览 0
提问于2011-10-09
得票数 3
回答已采纳
2
回答
如何终止/删除Amazon中的作业流?
、
、
、
、
我使用亚马逊
弹性
MapReduce
(Amazon )创建了
一
个工作流程,但由于
一
些未知的原因,它失败了。然后,我试图通过AWS管理控制台终止作业流,但是“终止”按钮被禁用。然后,我尝试使用CLI终止作业流,它显示了作业流被终止,但是当通过CLI和管理控制台中的
弹性
MapReduce
选项卡看到它时,它仍然显示为在作业流列表中失败。 请让我知道如何从列表中删除职务流。
浏览 4
提问于2012-04-14
得票数 3
回答已采纳
4
回答
是否可以使用.NET为亚马逊
弹性
MapReduce
编写map/reduce作业?
、
、
是否可以使用.NET语言为Amazon Elastic
MapReduce
()编写map/reduce作业?特别是,我想使用C#。上面的情况表明这是不可能的。例如,我可以修改我的账户的
弹性
MapReduce
机器镜像,并在上面安装Mono吗?亚马逊常见问题解答“使用Jar所需的其他软件”()和“如何通过映射器或还原
浏览 4
提问于2009-07-27
得票数 13
回答已采纳
1
回答
支持保留容量的AWS服务
、
提供预留容量的所有AWS服务的列表是什么,从而为该服务提供显著的折扣?
浏览 1
提问于2015-10-14
得票数 0
回答已采纳
1
回答
错误:在运行
弹性
-
mapreduce
指定分布式缓存文件时,字符串的未定义方法"each“
、
、
undefined method `each' for "s3n://dico-count-words/Cache/dicoClazz.p#dicoClazzCache.p":String ./elastic-
mapreduce
--create --stream \ > --input s
浏览 2
提问于2014-11-11
得票数 4
1
回答
AWS
弹性
mapreduce
似乎没有正确地将流转换为jar
、
、
、
、
我有
一
个映射器和减速器,当我在管道版本中运行它们时,它们工作得很好:我使用
弹性
映射减少向导,加载输入,输出,引导等等。引导是成功的,但我仍然在执行错误。这是我在第
一
步中的错误.+ PID_FILE=/mnt/var/run/hadoop-state
浏览 1
提问于2013-09-01
得票数 2
回答已采纳
2
回答
使用
弹性
MapReduce
(PIG)处理云前端日志
、
、
、
我想处理亚马逊CloudFront使用亚马逊
弹性
MapReduce
创建的访问日志。我只需要
一
些关于不同文件从cloudfront加载了多少次的简单统计数据,所以我想我应该为此编写
一
个简单的PIG脚本。我遇到的第
一
个问题是cloudfront写的日志是压缩的,据我所知,我不能在pig中读取.gz? 我该怎么做,有什么建议吗?我是elastic
mapreduce
的新手,所以欢迎任何关于如何构建这类工作的提示。
浏览 0
提问于2010-11-01
得票数 0
回答已采纳
1
回答
Kafka中kafka.common.OffsetOutOfRangeException异常的原因是什么
我正在使用Kafka Mirrormaker来模拟到运行Spark的
弹性
MapReduce
集群的生产流量。下面是我的设置:2) Kafka Mirrormaker的第二个实例使用1)中创建的测试Kafka实例,并发布到新的Kafka集群 3)
弹性
MapReduce
集群消费3)中的Kafka集群。
浏览 0
提问于2018-12-28
得票数 0
1
回答
Amazon上的区域服务器数量
、
、
假设我在Amazon
弹性
mapreduce
上启动了
一
个集群,并有
一
个主节点实例、两个核心节点实例和15个任务节点实例。 谢谢问候
浏览 1
提问于2013-10-03
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
弹性MapReduce
购物狂欢节,没有硝烟的战争?
双十一大促临时客服去哪找?
双11买家电,这篇文章一定要看!
01 初识 Spark 你应该知道的
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券