上一篇博客《什么是MapReduce(入门篇)》讲的是WordCount案例在本地的实际操作,这篇讲述的是在集群上的操作过程。
用maven打jar包,需要添加的打包插件依赖
<build>
<plugins>
<plugin>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.3.2</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<artifactId>maven-assembly-plugin </artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
<archive>
<manifest>
<mainClass>com.atguigu.mr.WordcountDriver</mainClass> // 此处要换成自己工程的名字
</manifest>
</archive>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
注意:如果工程上显示红叉。在项目上右键->maven->update project即可。
步骤详情:右侧Maven->Lifecycle->package。等待编译完成就会在项目的target文件夹中生成jar包。如果看不到。在项目上右键-> Refresh,即可看到。
[bigdata@hadoop001 hadoop-2.7.2]$ hadoop fs -copyFromLocal hello.txt /user/input
[bigdata@hadoop001 hadoop-2.7.2]$ hadoop jar wc.jar com.buwenbuhuo.wordcount.WcDriver /user/bigdata/input /user/bigdata/output
运行完成后进行下载查看:
如果出现问题了不要慌,慢慢来,博主本人刚开始也是踩了无数的坑,奥里给干就完了!