5行代码怎么实现Hadoop的WordCount?

最近散仙比较忙,只能利用下班之后,写文章了,发的时间晚了点,还请大家见谅,点击右上角的文字:我是工程师,即可关注本公众号,不多说了,赶紧回家,再晚就没地铁了。

初学编程的人,都知道hello world的含义,当你第一次从控制台里打印出了hello world,就意味着,你已经开始步入了编程的大千世界,这和第一个吃螃蟹的人的意义有点类似,虽然这样比喻并不恰当。 如果说学会了使用hello world就代表着你踏入了单机编程的大门,那么学会在分布式环境下使用wordcount,则意味着你踏入了分布式编程的大门。试想一下,你的程序能够成百上千台机器的集群中运行,是不是一件很有纪念意义的事情呢?不管在Hadoop中,还是Spark中,初次学习这两个开源框架做的第一个例子无疑于wordcount了,只要我们的wordcount能够运行成功,那么我们就可以大胆的向后深入探究了。 扯多了,下面赶紧进入正题,看一下,如何使用5行代码来实现hadoop的wordcount,在Hadoop中如果使用Java写一个wordcount最少也得几十行代码,如果通过Hadoop Streaming的方式采用Python,PHP,或C++来写,差不多也得10行代码左右。如果是基于Spark的方式来操作HDFS,在采用Scala语言,来写wordcount,5行代码也能搞定,但是如果使用spark,基于Java的api来写,那么就臃肿了,没有几十行代码,也是搞不定的。 今天,散仙在这里既不采用spark的scala来写,也不采用hadoop streaming的python方式来写,看看如何使用我们的Pig脚本,来搞定这件事,测试数据如下:

Java代码

i am hadoop  
i am hadoop  
i am lucene  
i am hbase  
i am hive  
i am hive sql  
i am pig  

Pig的全部脚本如下:

Pig代码

--大数据交流群:376932160(广告勿入)  
--load文本的txt数据,并把每行作为一个文本  
a = load '$in' as (f1:chararray);  
--将每行数据,按指定的分隔符(这里使用的是空格)进行分割,并转为扁平结构  
b = foreach a generate flatten(TOKENIZE(f1, ' '));  
--对单词分组  
c = group b by $0;  
--统计每个单词出现的次数  
d = foreach c generate group ,COUNT($1);  
--存储结果数据  
stroe d into '$out' 

处理结果如下:

Java代码

(i,7)  
(am,7)  
(pig,1)  
(sql,1)  
(hive,2)  
(hbase,1)  
(hadoop,2)  
(lucene,1)  

是的,你没看错,就是5行代码,实现了数据的读取,分割,转换,分组,统计,存储等功能。非常简洁方便! 除了spark之外,没有比这更简洁的,但这仅仅只是一个作业而已,如果在需求里面,又加入了对结果排序,取topN,这时候在pig里面,还是非常简单,只需新加2行代码即可,但是在spark里面,可能就需要数行代码了。 我们看下,更改之后的pig代码,加入了排序,取topN的功能:

Pig代码

--load文本的txt数据,并把每行作为一个文本  
a = load '$in' as (f1:chararray);  
--将每行数据,按指定的分隔符(这里使用的是空格)进行分割,并转为扁平结构  
b = foreach a generate flatten(TOKENIZE(f1, ' '));  
--对单词分组  
c = group b by $0;  
--统计每个单词出现的次数  
d = foreach c generate group ,COUNT($1);  
-- 按统计次数降序  
e = order d by $1 desc;  
--取top2  
f = limit e 2;  
--存储结果数据  
stroe f into '$out' 

输出结果如下:

Java代码

(i,7)  
(am,7)  

如果使用JAVA来编写这个MapReduce作业,后面的排序统计topn,必须得重新写一个job来执行,因为MapReduce干的事非常简单,一个job仅仅只处理一个功能,而在Pig中它会自动,帮我们分析语法树来构建多个依赖的MapReduce作业,而我们无须关心底层的代码实现,只需专注我们的业务即可。 除此之外,Pig还是一个非常灵活的批处理框架,通过自定义UDF模块,我们可以使用Pig来干很多事,看过散仙的上一篇文章的朋友们,应该就知道当初雅虎公司不仅仅使用Pig分析日志,搜索内容,PangeRank排名,而且还使用Pig来构建它们的web倒排索引等种种扩展功能,我们都可以通过Pig的UDF的方式来实现,它可以将我们的业务与MapReduce具体的实现解耦,而且复用性极强,我们写的任何一个工具类,都可以轻而易举的通过Pig稳定的运行在大规模的Hadoop集群之上。

本文分享自微信公众号 - 我是攻城师(woshigcs)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2015-01-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据架构

Java进阶(一)Annotation(注解)

Annotation是Java5开始引入的特性。它提供了一种安全的类似于注释和Java doc的机制。实事上,Annotation已经被广泛用于各种Java框架...

47970
来自专栏python学习之旅

Python+Selenium笔记(九):操作警告和弹出框

#之前发的 driver.switch_to_alert() 这句虽然可以运行通过,但是会弹出警告信息(这种写法3.x不建议使用)  改成 driver.swi...

90290
来自专栏dalaoyang

SpringCloud学习目录

Spring Cloud直接建立在Spring Boot的企业Java创新方法上,它通过实现经过验证的模式来简化分布式、微服务风格的体系结构,从而为您的微服务带...

65350
来自专栏dalaoyang

简单实现自定义注解

在Java中创建自定义注解 创建自定义注解与编写接口很相似,除了它的接口关键字前有个@符号。 注意以下几点: ·注解方法不能有参数。 ·注解方法的返回类型局限于...

41290
来自专栏步履前行

深入理解JVM--(1)运行时的数据区域划分--java虚拟机栈

  之前我们了解了程序计数器,接下来了解第二个线程私有的数据区域--虚拟机栈。 虚拟机栈是线程私有的,每创建一个线程,虚拟机就会为这个线程创建一个虚拟机栈,虚...

34150
来自专栏Windows Community

Windows 商店应用中使用 SharePoint REST API

前面一篇我们介绍了 Office 365 REST API 的官方工具的使用,本篇我们来看一下 SharePoint REST API 本身的描述、结构和使用方...

456150
来自专栏步履前行

深入理解JVM--(1)运行时的数据区域划分-程序计数器

  最近在学习jvm,准备在园子里写个系列笔记,有什么问题大家可以一起探讨。今天学习数据区域划分的第一部分--程序计数器。   JVM在运行时会把管理的内存划...

40260
来自专栏http://www.cnblogs.com

day5-json和pickle序列化

一.json模块 序列化:把一个对象的形态改变一下,使他能够存放在文件中,或者在网络上传输,序列化也叫持久化,是把对象存储到永久介质中,这样就不会因为掉电而丢失...

392140
来自专栏步履前行

Java Validation Api

在我们应用程序的业务逻辑中,经常会碰到参数教研的情况,比如在Controller中,我们的参数是一个Entity的时候,经常要判断这个Entity的字段是否是...

34750
来自专栏步履前行

深入理解JVM--(1)运行时的数据区域划分- 虚拟机栈

  之前提到了虚拟机栈,接下来我们说的本地方法栈正好和虚拟机栈对应,一个是是虚拟机为执行java方法也就是字节码服务,另一个则是为本地方法服务。   因为本地方...

30840

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励