08_运行hadoop提供的示例程序

通过上篇文章，我们已经搭建好了整个hadoop体系。我们都知道，hadoop由三大组建：

（1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。

（2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager

（3）MapReduce：它其实是一个应用程序开发包。

接下来，我们通过hadoop提供的实例程序来体会一下hadoop的功能。并由此验证我们的整个hadoop体系是否能够正常运行。

该示例程序的主要作用时统计HDFS上的某个文件中每个单词出现的次数。

1 在master上新建一个文本文档：input.txt

vi input.txt 

文件内容：

2 使用文件上传命令，将该文件上传到hdfs存储的input目录下。

hadoop fs -put ./input.txt /input

3 查找需要运行的实例程序

 find /usr/local/hadoop -name *example*.jar 

4 运行wordcount程序

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /input/input.txt /countoutput

此时在浏览器查看8088端口，我们可以看到

其中ID：当前运行应用的ID，State：Running

之后出现

state变为Finished

此时在在浏览器在查看50070端口

进入对应的countoutput目录

当看到_SUCCESS时，表示程序运行成功

点击Download查看结果

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/111286.html原文链接：https://javaforall.cn