腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

云计算D1net

专栏作者

2308

文章

2671998

阅读量

105

订阅数

如何为Hadoop选择最佳弹性MapReduce框架

hadoop python java api mapreduce

亚马逊Web服务的弹性MapReduce是一项基于Hadoop的实施，它可允许你运行大型的预处理工作，如格式转换和数据聚合等。虽然我们可以选择很多的编程语言来对这些任务进行编码，但是时间紧张的开发人员更需要一个能够最大限度减少编码开销的编程框架。Mrjob、 Dumbo 以及 PyDoop 是三个基于Python可满足以上需求的弹性MapReduce框架。那么，为什么诸如Java或Apache Pig之类的流行编程语言无法胜任这项任务呢？亚马逊的弹性MapReduce（EMR）任务一般都是采用Java语言

2018-03-19

1.3K0

为什么不改进MapReduce，而要取代它？

hadoop mapreduce

MapReduce的高延迟已经成为Hadoop发展的瓶颈，为当前的MapReduce寻找性能更高的替代品已成为Hadoop社区的一个共识。 MapReduce 有关MapReduce框架，最早要追溯到Google，Google将这个框架与灵活、可扩展性存储结合到一起，用以解决各类数据处理和分析任务。后来Doug Cutting和Mike Cafarella在2005年联合创立了Apache Hadoop时，采用的就是这个架构。类似的项目，比如Apache Pig和Apache Hive，它们将专门的查询转

2018-03-16

1.7K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态