专栏首页技术专栏MapReduce学习笔记

MapReduce学习笔记

wordcount: 统计文件中每个单词出现的次数需求:1) 文件内容小:shell2)文件内容很大:TB GB ??? 如何解决大数据量的统计分析==> url TOPN <== wc 的延伸工作中很多场景的开发都是wc的基础上进行改造的借助于分布式计算框架分而治之(input)-> map ->-> combine ->-> reduce ->(output)

核心概念

Spilt:交由MapReduce作业来处理的数据块,是MapReduce中最小的计算单元

HDFS:blocksize 是HDFS中最小的存储单元 128M

默认情况下:他们两是一一对应的,当然我们也可以手工设置他们之间的关系

InputFormat:

将我们的输入数据进行分片(Spilt):

InputSpilt[] getSpilts(JobConf job,int numSplits) throws IOException

TextInputFormat: 处理文本格式的数据

OutputFormat:

输出

MapReduce1.x的架构

1)JobTracker:JT

作业的管理者

将作业分解成一堆的任务:Task(MapTask和ReduceTask)

将任务分派给TaskTracjer运行

作业的监控、容错处理(task作业挂了,重启task的机制)

在一定的时间间隔内,JT没有收到TT的心跳信息,TT可能是挂了,TT上运行的任务会被指派到其他TT上去执行

2)TaskTracker:TT

任务的执行者 干活的

在TT上执行我们的Task(MapTask和ReduceTask和ReduceTask)

会与JT进行交互:执行/启动/停止作业,发送心跳信息给JT

3)MapTask:

自己开发的map任务交由该Task处理

解析每条记录的数据,交给自己的map方法处理

将map的输出结果写到本地磁盘(有些作业只仅有mao没有reduces==》HDFS)

4)ReduceTask

将Map Task输出的数据进行读取

按照数据进行分组chua

使用IDEA+Maven开发mc:

1) 开发

2)编译: mvn clean package -DskipTests

3)上传到服务器 docker cp target/hadoop-train-1.0-SNAPSHOT.jar hadoop000:/home/hadoop/lib

4)运行

hadoop jar /home/hadoop/lib/hadoop-train-1.0-SNAPSHOT.jar com.gwf.hadoop.mapreduce.WordCountApp

hdfs://hadoop000:8020/hello.txt hdfs://hadoop000:8020/output/wc

相同的diam和脚本再次执行,会报错

security.UserGroupInformation:

PriviledgedActionException as:hadoop (auth:SIMPLE) cause:

org.apache.hadoop.mapred.FileAlreadyExistsException:

Output directory hdfs://hadoop000:8020/output/wc already exists

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException:

Output directory hdfs://hadoop000:8020/output/wc already exists

在MR中,输出文件是不能事先存在的

1)先手工通过shell的方式将输出文件夹先删除

hadoop fs -rm -r /output/wc

Combiner

hadoop jar /home/hadoop/lib/hadoop-train-1.0-SNAPSHOT.jar com.gwf.hadoop.mapreduce.CombinerApp

hdfs://hadoop000:8020/hello.txt hdfs://hadoop000:8020/output/wc

使用场景:

求和、次数 +

平均是 X

Paritioner

hadoop jar /home/hadoop/lib/hadoop-train-1.0-SNAPSHOT.jar com.gwf.hadoop.mapreduce.ParitionerApp

hdfs://hadoop000:8020/paritioner hdfs://hadoop000:8020/output/wc

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Hadoop2.x linux&mac下分布式安装部署

    详情请参考 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/Si...

    Meet相识
  • 《数据仓库工具箱》- 第三章零售业务中的知识点汇总

    维度定义的是谁,什么时候,在哪的问题,作为聚合查询中的查询条件,分组条件,排序条件

    Meet相识
  • 慕课网Spark SQL日志分析 - 1.Hadoop概述

    http://hadoop.apache.org/ 对于Apache项目来说,projectname.apache.org Hadoop:hadoop.ap...

    Meet相识
  • Win7下Eclipse开发hadoop应用程序环境搭建

    在Linux下使用安装Eclipse来进行hadoop应用开发,但是大部分Java程序员对linux系统不是那么熟悉,所以需要在windows下开发hadoop...

    挖掘大数据
  • hadoop-What-How-Why

    The Apache Hadoop software library is a framework that allows for the distr...

    字母哥博客
  • 通过思维导图,让女朋友搭建一个hadoop完全分布式

    女朋友:你上次教我搭建伪分布式,我已经会搭建啦。只用了一台机器就搞定了呀,想学完全分布式的搭建。

    用户7656790
  • 保姆级教程:还愁不会搭建伪分布式吗?(其实很简单)

    在上面三篇文章我们已经把基本环境搭建好了,也进行了相应的案例演示,下面我们将进入伪分布式的环境搭建,并运行实例,建议先看上面三篇文章在进行操作。看一百遍,不如手...

    用户7656790
  • hadoop伪分布式环境搭建

      由于博主之前没有从事过hadoop相关的开发工作,最近正好遇到一个hadoop相关的项目,于是决定自学研究一下,博主整理的东西绝对是最全最详细的,不要问为什...

    会说话的丶猫
  • COS助力HADOOP轻松实现数据存储

    1.2 如何在hadoop集群上实现简单的数据处理,通过 wordcount 实现测试。

    Hunter
  • 【趣学程序】Hadoop安装运行

    GoogleFileSystem这是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,提供容错功能。

    趣学程序-shaofeer

扫码关注云+社区

领取腾讯云代金券