如何为Hadoop选择最佳弹性MapReduce框架

亚马逊Web服务的弹性MapReduce是一项基于Hadoop的实施,它可允许你运行大型的预处理工作,如格式转换和数据聚合等。虽然我们可以选择很多的编程语言来对这些任务进行编码,但是时间紧张的开发人员更需要一个能够最大限度减少编码开销的编程框架。Mrjob、 Dumbo 以及 PyDoop 是三个基于Python可满足以上需求的弹性MapReduce框架。

那么,为什么诸如Java或Apache Pig之类的流行编程语言无法胜任这项任务呢?亚马逊的弹性MapReduce(EMR)任务一般都是采用Java语言编写的,但即便是简单的应用程序也可能需要比用Python开发的脚本程序更多的代码行。

Pig 是一种专为载入和转换数据的应用而设计的高级数据处理语言,但是这并不是一种通用的编程语言。如果开发人员一方面比较喜欢使用比Java更高级的编程语言,一方面又需要使用比Pig数据管理更多的功能,那么他们应当尝试使用下Python。

目前,有三种基于Python的EMR框架可供选择: Mrjob、Dumbo 以及 PyDoop。 mrjob开源开发包 Mrjob是一种可在亚马逊EMR上或在你的本地机器上运行任务的开源包。 弹性MapReduce任务是在单个Python类中定义的,而其中包含了与mappers、reducers以及combiners相关的方法。Hadoop的大部分较低层次详细信息都隐藏在mrjob抽象操作下,这是有好处的。

这个简化的模式可允许开发人员把主要精力关注在map-reduce功能的逻辑设计上。 但是,这却意味着你将受制于Hadoop API的一个子集。如果你需要访问更多的Hadoop API,那么Dumbo 或 PyDoop可能是一个更好的选择。 使用mrjob的一个重要优点就是,它不需要安装Hadoop。开发人员可以在一台单一设备上使用Python、mrjob以及其他来编写、测试和调试弹性MapReduce程序。一旦程序准备就绪,你就可以将其移植至EMR,而相同的代码可在Hadoop集群上正常运行且无需任何修改。承载5700万评论、每月1.3亿以上游客浏览的社交网络仍然使用着mrjob,因此它可满足众多Hadoop用户的需求。

使用Dumo进行作业处理 Dumbo是另一个支持EMR的Python框架。 与mrjob类似,你可以编写mapper类和reducer类来实施弹性MapReduce任务。除了在mrjob中的基本功能以外,Dumbo还提供了更多的任务处理选项。它的一个任务类可允许开发人员定义多组由单一命令运行的map-reduce操作。当对一个数据集执行多个操作时,这是非常有用的。Dumbo支持文本和序列文件格式,而通过使用用户指定的Java类,它还支持用户的自定义格式。

在缺点方面,Dumbo的相关文档较少,尤其是与mrjob的技术文档相比。 Dumbo遵循着MapReduce的范式,因此在这个框架下进行核心组件开发与在mrjob和PyDoop中进行开发是类似的。

它还允许你执行partitioners,除了是在本地运行外,它与reducers类似。 它们能够减少map与reduce操作之间数据的传输量。通过使用Dumbo,开发人员还可以在启动任务时以命令行的方式控制Hadoop参数。 Hadoop默认使用纯文本的文件格式,但是用户可以通过指定一个自定义的RecordReader类来处理其他的格式。这个类包括了初始化、下一步、关闭以及getProgress等方法。 它还支持Hadoop文件系统API,它连接了一个HDFS安装和读写文件。

此外,API会检索文件、目录以及文件系统中的元数据。 当你需要以较低层次方式访问文件系统时,Dumbo API可以助你一臂之力,因为它有与HDFS API相同的功能集。 使用PyDoop进行研究包访问 需要访问第三方库和软件包的Python开发人员可能需要考虑使用PyDoop。CRS4跨学科研究中心开发了这个框架并对其进行了维护。 这样做的一个好处就是,你可以对访问流行Python研究包(例如SciPy)进行计数。

尽管mrjob、Dumbo以及PyDoop框架都具有不少的好处,但是它们都会增加运行开销,因此与用Java语言进行开发或者通过Hadoop流相比,你的任务的运行时间有可能会变得更长。如果确保EMR的低成本是一个关键的考虑因素,那么比较分别用Python流和其他框架开发的MapReduce任务就可以得知运行任务所需的额外时间了。

当你开发一些EMR任务时,Hadoop的Python框架是有用的。这三个开发框架都可以在弹性MapReduce上正常运行,并能够帮助用户避免不必要的和繁琐的Java开发工作。 当你需要更多地访问Hadoop内部时,可考虑Dumbo或PyDoop。

原文发布于微信公众号 - 云计算D1net(D1Net02)

原文发表时间:2014-07-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何为Hadoop集群选择正确的硬件

当我们想搭建一个Hadoop大数据平台时,碰到的第一个问题就是我们到底该如何选择硬件。

76450
来自专栏CSDN技术头条

自学大数据:用以生产环境的Hadoop版本比较

一、背景介绍 生产环境中,hadoop的版本选择是一个公司架构之时,很重要的一个考虑因素。这篇文章根据就谈谈现在主流的hadoop版本的比较。如果有不同意见,或...

29650
来自专栏北京马哥教育

为Hadoop集群选择合适的硬件配置

随着Apache Hadoop的起步,云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。 尽管Hadoop被设计为运行在行业标准的硬...

56030
来自专栏CSDN技术头条

使用Spark进行微服务的实时性能分析

作为一种灵活性极强的构架风格,时下微服务在各种开发项目中日益普及。在这种架构中,应用程序被按照功能分解成一组松耦合的服务,它们通过REST APIs相互协作。通...

23790
来自专栏数据派THU

独家 | 一文读懂Hadoop(一):综述

随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发...

42180
来自专栏大数据和云计算技术

大数据和云计算技术周报(第42期):NoSQL特辑

①本文对hbase连接方式进行了深入剖析,也是开发中经常遇到的问题,踩过不少坑,跟大家分享一下此文。

10310
来自专栏hadoop学习笔记

hadoop发行版本之间的区别

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache h...

13630
来自专栏斑斓

我们的产品架构

本文是我在中生代技术群分享的话题《创业一年经历的技术风雨》中的第一部分《产品架构与技术选型》的第一部分。 整体架构 我们的产品代号为Mort(这个代号来自电影...

35830
来自专栏挖掘大数据

超详细的大数据学习资源推荐(上)

今天为大家推荐一些翻译整理的大数据相关的学习资源,希望能给大家带来价值。

61080
来自专栏张善友的专栏

一个免费的、跨平台的、开源音频编辑器Audacity

Audacity 是一个免费的开源程序,用于编辑音频录制。它可在多个平台(windows/linux)上运行。Audacity 基于 GUI,是一个具有多种选项...

31450

扫码关注云+社区

领取腾讯云代金券