首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >MapReduce简单介绍

MapReduce简单介绍

作者头像
用户4870038
发布2021-02-05 11:38:03
3520
发布2021-02-05 11:38:03
举报

文章目录

什么是MapReduce

mapReduce是一个计算框架,是指实现某项任务或某项工作从开始到结束的计算过程或流的结构

MapReduce计算框架

在这里插入图片描述
在这里插入图片描述

并行计算框架

一个大的任务拆分成多个小任务,将多个小任务分发到多个节点上。每个节点同时执行计算

在这里插入图片描述
在这里插入图片描述

分布式计算

分布式计算是一种计算方法,是将该应用分解成许多小的部分,分配给多台计算机进行处理

在这里插入图片描述
在这里插入图片描述

Hadoop为什么比传统技术方案快

分布式存储 分布式并行计算 节点横向扩展 移动程序到数据端 多个副本数据

MapReduce的核心思想

MapReduce的核心思想是**“分而治之,先合后分”**。即将一个大的,复杂的工作或任务,拆分成多个小的任务,并行处理,最终进行合并。 适用于大量复杂的、时效性不高的任务处理场景。

MapReduce的组成

MapReduce由两部分组成,分别是Map和Reduce两部分。 Map负责“分”,即把复杂的任务分解为若干个“简单任务”来并行处理。拆分的前提是这些小任务可以互相并行计算,彼此之间没有什么依赖关系。 reduce负责“合”,即对Map阶段的结果进行全局汇总。

MapReduce并行计算

HDFS存储数据时对大于128M的数据会进行数据切分,每128M一个数据块,数据块会分散、分布存储到HDFS。

MapReduce在进行计算前会复制计算程序,每个数据块会分配一个独立的计算程序副本(MapTack)。计算时多个数据块几乎同时被读取并计算,但是计算程序完全相同。最终将各个计算程序计算的结果进行汇总(Reduce来汇总)

在这里插入图片描述
在这里插入图片描述
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-11-13 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 文章目录
  • 什么是MapReduce
  • MapReduce计算框架
  • 并行计算框架
  • 分布式计算
  • Hadoop为什么比传统技术方案快
  • MapReduce的核心思想
    • MapReduce的组成
    • MapReduce并行计算
    相关产品与服务
    大数据
    全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档