徐员外#大数据实战:从0开始Hadoop 安装测试

1、虚拟机安装centos系统并进行环境配置

虚拟机版本:VMware-workstation-full-9.0.0-812388

Linux系统:centos6.4

centos系统的安装过程略,按照提示一步一步往下安装即可,第一次安装因为需要依赖Perl等,所以选择默认图形界面安装,安装好后进行VMNet08 NAT网络配置,需要注意虚拟机的网卡与centos网卡要在同一网段。

centos配置网络及IP

修改主机名和IP的映射关系

vi /etc/hosts

192.168.1.100 hadoop01

防火墙

查看防护墙状态

service iptables status

关闭

service iptables stop

查看防火墙开机启动状态

chkconfig iptables --list

关闭开机启动

chkconfig iptables off

安装jdk

sftp> put -r "D:\software \jdk-7u65-linux-i586.tar.gz"

安装至/home/app目录下

[hadoop@hadoop01 ~]$ tar -zxvf jdk-7u65-linux-i586.tar.gz-C app/

jdk环境变量

用root账号vi /etc/profile在文件末尾加入,wq保存退出

exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_65

export PATH=$PATH:$JAVA_HOME/bin

刷新配置

source/etc/profile生效,进入任意目录,键入java -version

2、安装hadoop

上传安装包

sftp> put -r "D:\software \ hadoop-2.4.1.tar.gz"

解压安装至/home/app/hadoop目录下

[hadoop@hadoop01 ~]$ tar -zxvf hadoop-2.4.1.tar.gz -C app/hadoop/

配置环境变量

用root账号vi /etc/profile在文件末尾加入,wq保存退出

exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_65

exportHADOOP_HOME=/home/hadoop/app/hadoop-2.4.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新配置[hadoop@hadoop01 ~]source /etc/profile

观察hadoop主要结构,后续配置,文件操作,程序处理分析重点

修改配置文件

[hadoop@hadoop01 ~]$ vi/home/hadoop/app/hadoop-2.4.1/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

[hadoop@hadoop01 ~]$ vi/home/hadoop/app/hadoop-2.4.1/etc/hadoop/core-site.xml

fs.defaultFS

hdfs://hadoop01:9000

/home/hadoop/app/hadoop-2.4.1/data/

[hadoop@hadoop01 ~]$ vi/home/hadoop/app/hadoop-2.4.1/etc/hadoop/hdfs-site.xml

dfs.replication

1

[hadoop@hadoop01 ~]$ vi/home/hadoop/app/hadoop-2.4.1/etc/hadoop/mapred-site.xml

yarn

格式化HDFS

hadoopnamenode –format

启动hadoop,全部启动用start-all.sh命令,第一次使用可以逐个启动

添加linux主机名和IP的映射关系

C:\Windows\System32\drivers\etc

192.168.2.100 hadoop01

验证是否启动成功

通过浏览器的方式验证(hdfs管理界面)或http://hadoop01:50030/验证(mr管理界面)

上传文件至hdsf

[hadoop@hadoop01 ~]$ hadoop fs -putjdk-7u65-linux-i586.tar.gz hdfs://hadoop01:9000/

从hdsf下载文件

[hadoop@hadoop01~]$ hadoop fs -get hdfs://hadoop01:9000/ jdk-7u65-linux-i586.tar.gz

运行一下mapreduce例子程序进行圆周率计算,先进入mapreduce目录

计算圆周率

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180830G1UTQB00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励