Hadoop-本地模式搭建

小编先跳过Hadoop的体系结构这段,后续会补上,先将环境搭建写出来,便于大家能够先对Hadoop有个初步认识做准备,今天主要是写本地模式搭建.本地模式不涉及HDFS(存储),只是对数据的分析,小编会在本地模式搭建完成后,通过Hadoop中自带的WordCount来对文件的单词进行统计.

在搭建环境前,需要先关闭防火墙

1.环境所需的软件

jdk-8u144-linux-x64.tar.gz

hadoop-2.7.3.tar.gz

2.上传到Linux环境

小编是通过SSH Secure连接Linux系统,进行上传,约定好上传的目录为/root/tools

3.解压压缩包

解压的路径也约定为 /root/training

[root@bigdata11tools]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /root/training/

[root@bigdata11tools]# tar -zxvf hadoop-2.7.3.tar.gz -C /root/training/

4.JDK环境变量配置

[root@bigdata11jdk1.8.0_144]# vi ~/.bash_profile

5.Hadoop环境变量配置

[root@bigdata11hadoop-2.7.3]# vi ~/.bash_profile

6.生效环境变量

[root@bigdata11 hadoop-2.7.3]. ~/.bash_profile或者source ~/.bash_profile

注意:若使用前面的语句 .和~中间有个空格。

7.修改hadoop下的hadoop-env.sh文件

[root@bigdata11hadoop]# vi hadoop-env.sh

8.演示MapReduce程序

[root@bigdata11mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount/root/temp/data.txt /root/temp/dataout

执行后,进入/root/temp/dataout目录中查看结果:

---------------华丽分割线---------------

演示程序中的data.txt需要自己创建,其中的内容为:

I love Beijing

I love China

Beijing is the capital of China

此篇文章主要是环境的搭建,不涉及到结构体系的讲解,大家可以先搭建环境,后续会补充这些相关的理论知识,如果大家学习的大数据知识超过文章的进度,可以与小编留言一起学习讨论.

在公众号回复 3:获取最新的大数据学习路线,当前获取的大数据学习路线,还在完善中。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180222G0VNNI00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

同媒体快讯

扫码关注云+社区

领取腾讯云代金券