前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >5行代码怎么实现Hadoop的WordCount?

5行代码怎么实现Hadoop的WordCount?

作者头像
我是攻城师
发布2018-05-11 16:58:30
8180
发布2018-05-11 16:58:30
举报
文章被收录于专栏:我是攻城师

最近散仙比较忙,只能利用下班之后,写文章了,发的时间晚了点,还请大家见谅,点击右上角的文字:我是工程师,即可关注本公众号,不多说了,赶紧回家,再晚就没地铁了。

初学编程的人,都知道hello world的含义,当你第一次从控制台里打印出了hello world,就意味着,你已经开始步入了编程的大千世界,这和第一个吃螃蟹的人的意义有点类似,虽然这样比喻并不恰当。 如果说学会了使用hello world就代表着你踏入了单机编程的大门,那么学会在分布式环境下使用wordcount,则意味着你踏入了分布式编程的大门。试想一下,你的程序能够成百上千台机器的集群中运行,是不是一件很有纪念意义的事情呢?不管在Hadoop中,还是Spark中,初次学习这两个开源框架做的第一个例子无疑于wordcount了,只要我们的wordcount能够运行成功,那么我们就可以大胆的向后深入探究了。 扯多了,下面赶紧进入正题,看一下,如何使用5行代码来实现hadoop的wordcount,在Hadoop中如果使用Java写一个wordcount最少也得几十行代码,如果通过Hadoop Streaming的方式采用Python,PHP,或C++来写,差不多也得10行代码左右。如果是基于Spark的方式来操作HDFS,在采用Scala语言,来写wordcount,5行代码也能搞定,但是如果使用spark,基于Java的api来写,那么就臃肿了,没有几十行代码,也是搞不定的。 今天,散仙在这里既不采用spark的scala来写,也不采用hadoop streaming的python方式来写,看看如何使用我们的Pig脚本,来搞定这件事,测试数据如下:

Java代码

代码语言:javascript
复制
i am hadoop  
i am hadoop  
i am lucene  
i am hbase  
i am hive  
i am hive sql  
i am pig  

Pig的全部脚本如下:

Pig代码

代码语言:javascript
复制
--大数据交流群:376932160(广告勿入)  
--load文本的txt数据,并把每行作为一个文本  
a = load '$in' as (f1:chararray);  
--将每行数据,按指定的分隔符(这里使用的是空格)进行分割,并转为扁平结构  
b = foreach a generate flatten(TOKENIZE(f1, ' '));  
--对单词分组  
c = group b by $0;  
--统计每个单词出现的次数  
d = foreach c generate group ,COUNT($1);  
--存储结果数据  
stroe d into '$out' 

处理结果如下:

Java代码

代码语言:javascript
复制
(i,7)  
(am,7)  
(pig,1)  
(sql,1)  
(hive,2)  
(hbase,1)  
(hadoop,2)  
(lucene,1)  

是的,你没看错,就是5行代码,实现了数据的读取,分割,转换,分组,统计,存储等功能。非常简洁方便! 除了spark之外,没有比这更简洁的,但这仅仅只是一个作业而已,如果在需求里面,又加入了对结果排序,取topN,这时候在pig里面,还是非常简单,只需新加2行代码即可,但是在spark里面,可能就需要数行代码了。 我们看下,更改之后的pig代码,加入了排序,取topN的功能:

Pig代码

代码语言:javascript
复制
--load文本的txt数据,并把每行作为一个文本  
a = load '$in' as (f1:chararray);  
--将每行数据,按指定的分隔符(这里使用的是空格)进行分割,并转为扁平结构  
b = foreach a generate flatten(TOKENIZE(f1, ' '));  
--对单词分组  
c = group b by $0;  
--统计每个单词出现的次数  
d = foreach c generate group ,COUNT($1);  
-- 按统计次数降序  
e = order d by $1 desc;  
--取top2  
f = limit e 2;  
--存储结果数据  
stroe f into '$out' 

输出结果如下:

Java代码

代码语言:javascript
复制
(i,7)  
(am,7)  

如果使用JAVA来编写这个MapReduce作业,后面的排序统计topn,必须得重新写一个job来执行,因为MapReduce干的事非常简单,一个job仅仅只处理一个功能,而在Pig中它会自动,帮我们分析语法树来构建多个依赖的MapReduce作业,而我们无须关心底层的代码实现,只需专注我们的业务即可。 除此之外,Pig还是一个非常灵活的批处理框架,通过自定义UDF模块,我们可以使用Pig来干很多事,看过散仙的上一篇文章的朋友们,应该就知道当初雅虎公司不仅仅使用Pig分析日志,搜索内容,PangeRank排名,而且还使用Pig来构建它们的web倒排索引等种种扩展功能,我们都可以通过Pig的UDF的方式来实现,它可以将我们的业务与MapReduce具体的实现解耦,而且复用性极强,我们写的任何一个工具类,都可以轻而易举的通过Pig稳定的运行在大规模的Hadoop集群之上。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2015-01-12,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 我是攻城师 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档