MapReduce 编程模型极简篇

0x00 前言

回想自己最初学 Hadoop 的时候,初衷是写MapReduce程序,但是搭建单机环境折腾一周,搭建分布式环境折腾一周,跑个Demo解决一下Bug又一周过去了。最后都忘了自己是想学 MapReduce 的。

感觉自己虽然是搞Hadoop的,但是写MR比自己想的要少很多。初期是花了很多精力在安装以及集群的各种日常维护,熟悉Hive后就经常用Hive来解决问题,然后逐渐地各种任务过度到了Spark上,因此对MapReduce的重视就少了很多。 细想起来,MapReduce本身是很简洁易学的,因此这次抛开各种MapReduce背后的实现原理,来专门回顾一下它的编程模型。

0x01 编程模型

MapReduce计算提供了简洁的编程接口,对于某个计算任务来说,其输入是Key/Value数据对,输出也以Key/Value数据对方式表示。

对于应用开发者来说,只需要根据业务逻辑实现Map和Reduce两个接口函数内的具体操作内容,即可完成大规模数据的并行批处理任务。

Map 函数以Key/Value数据对作为输入,将输入数据经过业务逻辑计算产生若干仍旧以Key/Value形式表达的中间数据。MapReduce计算框架会自动将中间结果中具有相同Key值的记录聚合在一起,并将数据传送给Reduce函数内定义好的处理逻辑作为其输入值。

Reduce 函数接收到Map阶段传过来的某个Key值及其对应的若干Value值等中间数据,函数逻辑对这个Key对应的Value内容进行处理,一般是对其进行累加、过滤、转换等操作,生成Key/Value形式的结果,这就是最终的业务计算结果。

0x02 举个栗子

1. 问题描述

举个MapReduce最经典的例子——WordCount。假设给你100亿的文本内容,如何统计每个单词的总共出现次数?或者说统计出统计出现次数最多的N个单词?

这个任务看似简单,但如果在单机环境下快速完成还是需要实现技巧的,主要原因在于数据规模巨大。在MapReduce框架中实现的话就会简单很多,只要实现相应的和Map和Reduce函数即可。

2. 代码实现

我们用Python实现一下大致的逻辑:

def map(key, value):
    values = value.split(" ")
    for v in values:
        print (v, "1")

def reduce(key, value):
    int result=0
    for v in value:
        result += int(v)
    print (key, result)

Map操作的key是一个文件的ID或者一个网页的ID,value是它的正文内容,即由一系列单词组成。Map函数的主要作用是把文本内容解析成一个个单词和单词出现的次数,比如<w,1>。一般我们不太关注Map中的key,只解析其中的value即可。

Reduce操作的key值为某个单词,对应的Value为出现次数列表,通过遍历相同Key的次数列表并累加其出现次数,即可获得某个单词在网页集合中总共出现的次数。

3. 分析

画个整体的图,来解释一下MapReduce的过程都做了什么。

  1. 最左边是我们需要统计的文本内容,假设我们现在与三个问题,每个里面都有一些内容。
  2. Map阶段会有我们的Map函数来读取相应的文本,并解析出其中的单词,然后输出dantezhao 1这种结构,其中key是dantezhao,value是出现次数1。
  3. 然后这里会经过一个Shuffle过程,把相同key的数据放到同一个Reduce中来处理,比如我们这里会把所有key为dantezhao的数据发送到第二个Reduce中。
  4. Reduce阶段,根据相同的key,计算出它出现的次数,即将value值相加。

0xFF 总结

单纯的MapReduce编程模型其实还是不难的,当然想深入学还是有很多细节的,比如Partitioner的设计、Shuffle阶段的设计,Map和Reduce的一些优化。这里暂且做一个最基本的回顾。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏灯塔大数据

每周学点大数据 | No.36并行算法

No.36期 ‍并行算法‍ Mr. 王:‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍今天我们来谈一个新的话题——并行算法。 小可:并行?并行是不是说,一个任务由多个人...

29010
来自专栏编程

Python进阶系列连载(7)——生成器(下)

作者:王大伟 Python爱好者社区唯一小编 博客:https://ask.hellobi.com/blog/wangdawei 如果还没看过我的入门连载部分,...

1987
来自专栏IT可乐

深入理解计算机系统(5.1)------优化程序性能

  你能获得的对程序最大的加速比就是当你第一次让它工作起来的时候。   在讲解如何优化程序性能之前,我们首先要明确写程序最主要的目标就是使它在所有可能的情况下都...

24210
来自专栏灯塔大数据

每周学点大数据 | No.72 在 Spark 上实现 WordCount

编者按:灯塔大数据将每周持续推出《从零开始学大数据算法》的连载,本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作,以对话的形式深入浅出的从何为大数据说到大数据...

3565
来自专栏Java编程技术

UML建模(类图)

类图是面向对象系统建模中重要的图,是定义其它图的基础。类图主要是用来展现软件系统中的类、接口以及它们之间的静态结构。

1342
来自专栏从流域到海域

在美国国会图书馆标题表的SKOS上运行Apache Spark GraphX算法

这是Bob DuCharme的一篇客串文章。

4567
来自专栏用户2442861的专栏

教你如何迅速秒杀掉:99%的海量数据处理面试题

   一般而言,标题含有“秒杀”,“99%”,“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌,但进一步来讲,如果读者读罢此文,却无任何收获,那么,我也甘愿...

1692
来自专栏积累沉淀

Java设计模式(十三)----策略模式

策略模式 一、概述 二、策略模式的结构 三、具体案例 四、认识策略模式 一、概述 1.定义 策略模式属于对象行为型模式,主要针对一组算法...

2246
来自专栏Clive的技术分享

MySQL索引原理及使用一、磁盘IO二、索引数据结构三、优化sql语句执行效率的方法四、建索引的几大原则

一、磁盘IO 磁盘IO是非常高昂的操作,计算机操作系统做了一些优化,当一次IO时,不光把当前磁盘地址的数据,而是把相邻的数据也都读取到内存缓冲区内,因为局部预读...

1K6
来自专栏吉浦迅科技

DAY37:阅读不同存储器的修饰符

1324

扫码关注云+社区

领取腾讯云代金券