Win10安装Hadoop3.0.0

一、下载hadoop3.0.0

下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0/ 下载文件：hadoop-3.0.0.tar.gz

二、下载winutils工具

下载地址：https://github.com/steveloughran/winutils 下载文件：hadoop-3.0.0/bin

三、配置环境变量

1、解压安装包到：D:\Hadoop\HDFS\hadoop-3.0.0

2、将hadoop-3.0.0/bin文件复制一份，改名为hadoop-3.0.0/bin.template

3、将下载的 hadoop-3.0.0/bin 文件复制到 D:\Hadoop\HDFS\hadoop-3.0.0目录下

4、配置环境变量

变量名：HADOOP_HOME 变量值：D:\Hadoop\HDFS\hadoop-3.0.0

系统变量path变量中添加 

%HADOOP_HOME%\bin %HADOOP_HOME%\sbin

四、配置Hadoop

1、进入目录：D:\Hadoop\HDFS\hadoop-3.0.0\etc\hadoop

2、在 根目录下创建 properties 文件夹

3、将 \etc\hadoop 目录下的 配置文件 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.cmd 文件复制到 \hadoop-3.0.0\properties 目录（方便修改，修改之后一键替换到 \hadoop-3.0.0\etc\hadoop 目录即可）

4、在 D:\Hadoop\HDFS\hadoop-3.0.0\properties 目录下创建两个脚本文件 hdfs-format.cmd、start-all.cmd

5、 Hadoop配置文件配置如下

hadoop-env.cmd 

@set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

core-site.xml

    fs.defaultFS  
    hdfs://localhost:9000 

hdfs-site.xml

    dfs.replication
    1 
  
  
    dfs.permissions
    false
  
  
    dfs.namenode.name.dir
    /G:/hadoop/data/dfs/namenode
  
  
    dfs.datanode.data.dir
    /G:/hadoop/data/dfs/datanode
  
  
    fs.checkpoint.dir
    /G:/hadoop/data/dfs/snn
  
  
    fs.checkpoint.edits.dir
    /G:/hadoop/data/dfs/snn

yarn-site.xml

    yarn.nodemanager.aux-services  
    mapreduce_shuffle 
    
   
    yarn.nodemanager.aux-services.mapreduce.shuffle.class  
    org.apache.hadoop.mapred.ShuffleHandler 

mapred-site.xml

    mapreduce.framework.name  
    yarn 

6、初始化和启动脚本配置

hdfs-format.cmd

cd D:\Hadoop\HDFS\hadoop-3.0.0\bin
hdfs namenode -format

start-all.cmd

cd D:\Hadoop\HDFS\hadoop-3.0.0\sbin
D:\Hadoop\HDFS\hadoop-3.0.0\sbin\start-all.cmd

五、执行脚本文件

1、替换配置文件

把 D:\Hadoop\HDFS\hadoop-3.0.0\properties 目录下的文件全部替换到 D:\Hadoop\HDFS\hadoop-3.0.0\bin

2、初始化HDFS

进入 D:\Hadoop\HDFS\hadoop-3.0.0\properties 目录，点击执行 hdfs-format.cmd 文件

3、启动Hadoop和yarn

进入 D:\Hadoop\HDFS\hadoop-3.0.0\properties 目录，点击执行 start-all.cmd 文件

启动之后弹出四个窗口，如果窗口没有自动关闭或者自动停止则初始化成功

六、访问地址

yarn：http://127.0.0.1:8088/cluster

hdfs：http://localhost:9870/explorer.html#/

七、注意事项

1、JAVA_HOME设置，PROGRA~1 代表的是 Program Files 目录

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

2、这里的安装路径是在 D:\Hadoop\HDFS\hadoop-3.0.0 

3、这里配置的HDFS的元数据目录是在 G:\hadoop\data\dfs