Hadoop的安装及配置
PS:最新安装教程请参考Hadoop的安装与配置（设置单节点群集）详细教程
1、Hadoop安装前准备工作： 在开始Hadoop安装与配置之前，需要准备的环境：Linux系统、配置JDK环境变量。
2、安装 我们可以到Apache Hadoop的官网http://hadoop.apache.org/进行下载相应的安装文件！
下载后，使用 : tar -zxvf tar包名，解压到指定位置！
3、Hadoop配置文件的修改 Hadoop主要修改的配置文件为5处：
- hadoop-env.sh
- core-site.xml
- hdfs-site.xml
- mapred-site.xml
- yarn-site.xml
3.1、hadoop-env.sh 在对应的位置找到以下两行配置，并修改为本机中的路径。
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_231.jdk/Contents/Home
export HADOOP_CONF_DIR=/Users/marron27/TOOLS/hadoop-2.10.0/etc/hadoop
在这里插入图片描述
3.2、core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!--自己创建的，指定hadoop运行时产生文件的存放目录-->
<name>hadoop.tmp.dir</name>
<value>/Users/marron27/TOOLS/hadoop-2.10.0/tmp</value>
</property>
</configuration>
在这里插入图片描述
3.3、hdfs-site.xml
<configuration>
<property>
<!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
<!--伪分布式模式，此值必须为1-->
<name>dfs.replication</name>
<value>1</value>
</property>
<!--不是root用户也可以写文件到hdfs-->
<property>
<name>dfs.permissions</name>
<value>false</value> <!--关闭防火墙-->
</property>
</configuration>
在这里插入图片描述
3.4、mapred-site.xml
<configuration>
<property>
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
在这里插入图片描述
3.5、yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
在这里插入图片描述
4、配置Hadoop环境变量
- 在 .bash_profile 文件中配置Hadoop环境变量,使用vim打开该文件，进入编辑模式 vim ~/.bash_profile
- 在该文件中添加Hadoop的安装路径
在这里插入图片描述
添加完成后保存退出。
- 使用source命令使该文件中的修改立即生效source ~/.bash_profile
- 到此所有的配置已经完成，接下来执行该命令格式化namenode: hadoop namenode -format。
- 格式化成功之后，即可启动Hadoop，在Hadoop安装目录下有个/sbin目录，目录下有个start-all.sh,执行该文件./start-all.sh
5、测试 此时执行以下命令查看安装是否成功
hadoop fs -mkdir /testdata 在hdfs根目录下创建一个文件夹 testdata
hadoop fs -ls / 本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2020-06-20，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读