Hadoop伪分布式搭建

1.	关闭防火墙
2. 	安装JDK
3.	修改主机名，在Hadoop中，要求主机名中不能出现_和-
	cd /etc/sysconfig
	vim network
	修改HOSTNAME，主机名最好是字母或者数字，但是不能全部是数字，数字最好不作为开头。例如：
	HOSTNAME=hadoop01
	保存退出，并且重新生效
	source network
4.	将主机名和IP进行映射
	cd ..
	vim hosts
	添加映射，例如：
	192.168.229.131 hadoop01
	保存退出
5.	重启
	reboot
6.	配置免密登陆
	生成公私钥
	ssh-keygen
	配置免密
	ssh-copy-id root@hadoop01
	密码：tarena2017Up;
	测试一下是否免密：
	ssh hadoop01
7.	下载Hadoop
8.	解压Hadoop
	tar -xvf hadoop-2.7.1_64bit.tar.gz
9.	进入Hadoop的安装路径
	cd hadoop-2.7.1
	cd etc/Hadoop
10.	编辑hadoop-env.sh
	vim hadoop-env.sh
	修改
	export JAVA_HOME=/home/presoftware/jdk1.8
	export HADOOP_CONF_DIR=/home/bigdata/hadoop-2.7.1/etc/hadoop
	保存退出，重新生效
	source hadoop-env.sh
11.	编辑core-site.xml
	vim core-site.xml
	添加：
	<!-- 指定文件系统 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop01:9000</value>
	</property>
	<!-- 指定HDFS的数据存储位置 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/software/hadoop-2.7.1/tmp</value>
	</property>
12.	编辑hdfs-site.xml
	vim hdfs-site.xml
	添加：
	<!-- 指定HDFS中的副本数量 -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
13.	编辑mapred-site.xml
	cp mapred-site.xml.template mapred-site.xml
	vim mapred-site.xml
	添加：
	<!-- 将MapReduce配置成基于YARN的系统 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
14.	编辑yarn-site.xml
	vim yarn-site.xml
	添加：
	<!-- 指定YARN中ResourceManager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop01</value>
	</property>
	<!-- 指定NodeManager中数据获取的方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
15.	编辑slaves文件
	vim slaves
	添加当前的主机名，例如：
	hadoop01
16.	配置环境变量
	vim /etc/profile
	添加：
	export HADOOP_HOME=/home/software/hadoop-2.7.1
	export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
	保存退出之后，重新生效：
	source /etc/profile
17. 第一次启动Hadoop之前需要进行一次格式化
	hadoop namenode -format
	****command not found --- 环境变量
	****如果出现其他错误，查看core-site.xml和hdfs-site.xml
18.	启动Hadoop
	start-all.sh
	如果启动成功，利用jps查看，会出现以下6个进程：
	Jps
	NameNode --- 50070
	DataNode --- 50075
	SecondaryNameNode --- 50090
	ResourceManager --- 8088
	NodeManager

	如果是命令找不到，则表示环境变量配置错误或者是没有source
	如果少了NameNode或者DataNode：
		a.coere-site.xml或者hdfs-site.xml配置错误
		b.多次格式化 - 删除/home/software/hadoop-2.7.1/tmp重新格式化重新启动
	如果少了ResourceManager或者NodeManager:
		查看yarn-site.xml