hadoop安装
安装JDK8
mac下：
brew install openjdk@8linux下：
redhat 系 ： yum install java-1.8.0-openjdk
debian系： apt-get install openjdk-8-jdk
设置环境变量
export PATH="/usr/local/opt/openjdk@8/bin:$PATH"安装Hadoop
在hadoop官网下载hadoop 2.10.1, 下载后放到我们的文件夹中，然后解压。
tar -xzf hadoop-2.10.1然后将HADOOP_HOME的设置路径设置和系统路径放入$HOME/.bashrc中,并且执行该文件
echo "export HADOOP_HOME=$PWD/hadoop-2.10.0" >> $HOME/.bashrc
echo "PATH=$PATH:$HADOOP_HOME/bin" >> $HOME/.bashrc
. $HOME/.bashrc修改etc/hadoop/hadoop-env.sh
将JAVA_HOME改成当前机器的JAVA_HOME路径。
配置 core-site.xml
该文件位于 ${HADOOP_HOME}/etc/hadoop，这里添加以下内容至 core-site.xml 文件，设置 Hadoop 的临时目录和文件系统。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>${HADOOP_HOME}/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>配置 hdfs-site.xml
添加以下内容至 hdfs-site.xml 文件。dfs.replication 通常为3, 由于我们只有一台主机和一个伪分布式模式的 DataNode，将此值修改为1。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>${HADOOP_HOME}/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>${HADOOP_HOME}/tmp/dfs/data</value>
</property>配置 mapred-site.xml
将 mapred-site.xml.template 重命名为 mapred-site.xml，并向 mapred-site.xml 文件添加以下内容。设置数据处理框架为 yarn。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>配置 yarn-site.xml
添加以下内容至 yarn-site.xml。
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>localhost:9000</value>
</property>
</configuration>启动Hadoop
1) 第一次启动Hadoop，需要对 NameNode 进行格式化，后续启动不再需要执行此步骤。
hadoop namenode -format
2) 启动 HDFS：进入Hadoop 安装目录下的 sbin 目录，并启动HDFS。
cd $HADOOP_HOME/sbin ./start-dfs.sh
停止 Hadoop 方法如下
stop-dfs.sh
3) 可以访问 http://localhost:50070/dfshealth.html#tab-overview 来查看 Hadoop的启动情况。
4) 启动 yarn
进入Hadoop 安装目录下的sbin目录， 只需start-yarn.sh，并启动 yarn。访问localhost:8088可以查看资源管理页面，如下图所示。
