Hadoop的配置单机模式和伪分布式介绍以及配置ssh公私钥

接着上一篇文章写的建议和上一篇一起看

4.配置hadoop

1.单机模式(本地模式)[I1] ：standalone(local)

2.伪分布模式[I2] ：Pseudodistributed mode

a)进入$/etc/hadoop目录

b)编辑core-site.xml

fs.defaultFS

hdfs://localhost/

c)编辑hdfs-site.xml

dfs.replication

1

d)编辑mapred-site.xml

注意:mapred-site.xml不存在，需要拷贝一份

注意:cp mapred-site.xml.template mapred-site.xml

mapreduce.framework.name

yarn

e)编辑yarn-site.xml

yarn.resourcemanager.hostname

localhost

yarn.nodemanager.aux-services

mapreduce_shuffle

f)配置SSH

1)检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)

$yum list installed | grep ssh

2)检查是否启动了sshd进程

$>ps -Af | grep sshd

3)在client侧生成公私秘钥对。

$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

4)生成~/.ssh文件夹，里面有id_rsa(私钥) + id_rsa.pub(公钥)

5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)

$>cd ~/.ssh

$>cat id_rsa.pub >> authorized_keys

6)修改authorized_keys的权限为644.

$>chmod 644 authorized_keys

7)测试

$>ssh localhost

单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。