3.安装hadoop

1.安装hadoop

a)下载hadoop-2.7.3.tar.gz

b)tar开

$>su centos ; cd ~

$>cp /mnt/hgfs/tools/hadoop-2.7.3.tar.gz ~/downloads

$>tar -xzvf hadoop-2.7.3.tar.gz

c)移动tar开的文件到/soft下

$>mv ~/downloads/hadoop-2.7.3 /soft/

d)创建符号连接

$>ln -s /soft/hadoop-2.7.3 /soft/hadoop

e)验证hadoop安装是否成功

$>cd /soft/hadoop/bin

$>./hadoop version

2.配置hadoop环境变量

$>sudo nano /etc/profile

在最后一行添加

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.生效

$>source /etc/profile

4.配置hadoop

1.独立模式.单机模式(本地模式)：standalone(local)

什么都不用配置，配置好hadoop环境就是默认的模式：单机，独立，本地模式

2.伪分布模式：Pseudodistributed mode

a)进入$/etc/hadoop目录

b)编辑core-site.xml

fs.defaultFS

hdfs://localhost/

c)编辑hdfs-site.xml

dfs.replication

1

d)编辑mapred-site.xml

注意:mapred-site.xml不存在，需要拷贝一份

注意:cp mapred-site.xml.template mapred-site.xml

mapreduce.framework.name

yarn

e)编辑yarn-site.xml

yarn.resourcemanager.hostname

localhost

yarn.nodemanager.aux-services

mapreduce_shuffle

f)配置SSH

1)检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)

$yum list installed | grep ssh

2)检查是否启动了sshd进程

$>ps -Af | grep sshd

3)在client侧生成公私秘钥对。

$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

4)生成~/.ssh文件夹，里面有id_rsa(私钥) + id_rsa.pub(公钥)

5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)

$>cd ~/.ssh

$>cat id_rsa.pub >> authorized_keys

6)修改authorized_keys的权限为644.

$>chmod 644 authorized_keys

7)测试

$>ssh localhost