专栏首页简单聊聊SparkHadoop1.2.1 WordCount Java 实现方式

Hadoop1.2.1 WordCount Java 实现方式

1.编写java程序用到的jar包,如下截图,其实貌似只需要一个hadoop-core-1.2.1.jar就可以了,这个jar包在Hadoop的减压目录下

用到的jar包截图

2.编写Mapper类,内容如下:

map截图

3.编写Reducer类,内容如下:

reduce截图

4.编写主函数WordCount类,内容如下:

WordCount.java

5.打包,右键项目-->Export-->Java-->Jar file-->命名-->finish

6.在已经启动好集群的Linux下运行如下命令

hadoop   jar    /usr/local/src/mr_wordcount/java_wordcount/MapReduceTest.jar (Jar包存放的绝对路径)    com.mapreduce.wordcount.WordCount(主函数的入口,为包名+类名)

7.数据截图和运行结果截图分别如下如下:

原数据截图

运行结果截图

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Spark性能调优篇五之使用fastUtil工具包

            今天再来介绍一个小的优化点,是一个通过使用fastutil工具包对数据格式进行优化。首先来明确一个东西,什么是fastutil?

    用户2992598
  • Spark内核分析之Master的注册机制实现原理

            这篇文章我们来讨论一下Master的注册机制;那么有哪些信息需要注册到Master上面去呢?很简单,分别有Worker的注册,Driver的注册...

    用户2992598
  • 搭建CM(ClouderaManager)

    首先,为什么要搭建本地yum源呢?大部分公司里面,由于内网机不允许连接外网,所有导致不能通过网络的方式安装软件,而本地yarn源就是为了解决这个问题而诞生的一种...

    用户2992598
  • python(leetcode)-66加

    思路:对每个值遍历判断,如果为9则变为0,并且继续遍历,如果为0到8则加1操作,并且break退出判断

    用户2398817
  • Python中的端口协议之基于UDP协议

    --------------------------------------------------------------------------------...

    用户2398817
  • Elasticsearch 底层系列之分片恢复解析

    我们是基础架构部,腾讯云 CES/CTSDB 产品后台服务的支持团队,我们拥有专业的ES开发运维能力,为大家提供稳定、高性能的服务,欢迎有需求的童鞋接入...

    luckiexie
  • Elasticsearch 底层系列之分片恢复解析

        我们是基础架构部,腾讯云 CES/CTSDB 产品后台服务的支持团队,我们拥有专业的ES开发运维能力,为大家提供稳定、高性能的服务,欢迎有需求的童鞋接入...

    腾讯云时序数据库团队
  • Elasticsearch 底层系列之分片恢复解析

    我们是基础架构部,腾讯云 CES/CTSDB 产品后台服务的支持团队,我们拥有专业的ES开发运维能力,为大家提供稳定、高性能的服务,欢迎有需求的童鞋接入,同时也...

    老生姜
  • hdu----(1402)A * B Problem Plus(FFT模板)

    A * B Problem Plus Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536...

    Gxjun
  • 小案例(四):销售额下滑(python)

    案件回顾 饭团销售额下滑 酒馆的热销菜品之一饭团,近几个月销量比去年同期少了约2成 酒馆给出了47种菜品,三个月内每天的销售数据(问题:什么原因导致了饭团销量...

    三猫

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动