专栏首页维C果糖快速搭建 HDFS 系统(超详细版)

快速搭建 HDFS 系统(超详细版)

文章目录

节点介绍

首先,准备 5 台虚拟机,其中 1 台虚拟机作为NameNode,4 台虚拟机作为DataNode,分别为:

IP

Hosts(主机名)

192.168.56.101

master

192.168.56.102

slave1

192.168.56.103

slave2

192.168.56.104

slave3

192.168.56.105

slave4

在这里,master充当着NameNode的角色,其他的salve充当着DataNode的角色,并且需要修改这 5 台虚拟机上的hosts文件,配置它们的主机名,以便它们可以通过主机名进行互相的访问。

  • 执行命令vim /etc/hosts

配置完成后,使用vim编辑器的:wq保存退出。

开始搭建 HDFS 系统

在前面,我们已经准备好了虚拟机;在此,我们还需要准备两个资源,分别为 Hadoop 和 JDK 安装包,可通过以下链接到官方获取:

当上述两个安装包下载完成之后,可通过 Linux 命令,将两个安装包上传到虚拟机,例如

  • scp -r /Users/bin.guo/Downloads/hadoop-2.7.7.tar.gz root@192.168.56.101:/home/hdfs-cg
  • scp -r /Users/bin.guo/Downloads/jdk-8u201-linux-x64.tar.gz root@192.168.56.101:/home/hdfs-cg

基础环境变量配置

第 1 步:解压 Hadoop 安装包

如上述,使用 Linux 命令tar -zxvf 待解压文件解压 Hadoop 安装包。

第 2 步:配置 Hadoop 的 Java 运行环境

在当前目录解压完成后,进入/hadoop-2.7.3/etc/hadoop目录,这个目录里存放的都是 Hadoop 配置文件,当然,我们需要修改的配置文件也在这个目录中。接下来,编辑hadoop-env.sh文件,配置 Java 环境变量。

  • 执行命令vim hadoop-env.sh

第 3 步:在 Linux 中配置 Hadoop 环境变量

编辑/etc/profile文件,配置 Hadoop 环境变量。

  • 执行命令vim /etc/profile

如上图所示,通过在profile文件中追加export PATH=$PATH:/usr/local/hadoop-2.7.3/bin:/usr/local/hadoop-2.7.3/sbin语句,即可配置 Hadoop 环境变量。在这里,如果我们之前没有在profile中配置过PATH环境变量,则需要先配置PATH的环境变量,例如:

JAVA_HOME=/home/hdfs-cg/jdk1.8.0_131
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH
export JAVA_HOME
export CLASSPTH

export PATH=$PATH:/home/hdfs-cg/hadoop-2.7.3/bin:/home/hdfs-cg/hadoop-2.7.3/sbin

配置完 Hadoop 的环境变量之后,保存文件,并输入以下命令让profile文件立即生效。

  • 执行命令source /etc/profile

正常情况下,输入source /etc/profile命令不会有任何提示;我们可以输入命令hadoop进行验证,如果出现以下内容,则说明 Hadoop 环境配置成功了。

设置 SSH 免密码登录

由于master机器,也就是192.168.56.101这台机器,其将成为我们 Hadoop 集群的NameNode节点,因此我们配置其可以免密登录集群中其它的slave机器。

  • 执行命令ssh-keygen -t rsa

执行命令后,出现提示可以不予理会,直接按几次回车键就可以了。当出现以下界面时,则说明生成私钥id_rsa和公钥id_rsa.pub成功:

接下来,我们把生成的公钥id发送到slave1slave2slave3slave4这 4 台机器。

  • 执行命令ssh-copy-id slave1

slave1会要求你输入slave1这台机器上的密码:

密码输入正确后,你将会看到以下界面,它说已经添加了密钥,叫你尝试登陆:

现在,我们输入 SSH 命令测试 slave1 的免密登陆。

  • 执行命令ssh slave1

如上图所示,显然我们已经实现了masterslava1的免密登录,其它slave机器同理。

配置 HDFS

在所有机器上的/hadoop-2.7.3/etc/hadoop目录中,修改core-site.xmlhdfs-site.xml文件,以完成 HDFS 的配置。

  • 修改core-site.xml,在configuration标签内加入以下配置:
<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
  <description>HDFS 的 URI,文件系统://namenode标识:端口</description>
</property>

<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoopData</value>
  <description>namenode 上传到 hadoop 的临时文件夹</description>
</property>

<property>
    <name>fs.trash.interval</name>
    <value>4320</value>
</property>
</configuration>
  • 修改hdfs-site.xml,在configuration标签内加入以下配置:
<configuration>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>/home/hadoopData/dfs/name</value>
   <description>datanode 上存储 hdfs 名字空间元数据</description>
 </property>
 
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>/home/hadoopData/dfs/data</value>
   <description>datanode 上数据块的物理存储位置</description>
 </property>
 
 <property>
   <name>dfs.replication</name>
   <value>3</value>
   <description>副本个数,默认配置是 3,应小于 datanode 机器数量</description>
 </property>
 
 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>
 
 <property>
   <name>dfs.permissions.superusergroup</name>
   <value>staff</value>
 </property>
 
 <property>
   <name>dfs.permissions.enabled</name>
   <value>false</value>
 </property>
</configuration>

在这里,我们需要创建 Hadoop 存放数据的文件夹,为了与配置文件中的路径匹配,我们将在home目录下,创建名为hadoopData的文件夹。

  • 执行命令mkdir /home/hadoopData

当然,我们可以调整此文件夹的位置,只要保证其与配置文件的路径匹配即可。

配置 NameNode 节点

因为master机器是集群中的NameNode节点,因此我们在master机器上进行操作,也就是192.168.56.101这台主机。在master机器的/hadoop-2.7.3/etc/hadoop目录下,修改slaves文件,加入DataNode节点。特别注意,由于我们之前修改了hosts文件,各虚拟机的 IP 已经与主机名绑定,因此在这里,我们之前配置主机名即可

  • 执行命令vim slaves

其中,slave1slave2slave3slave4都是DataNode节点,我们把它们加入到NameNode节点中,这样我们就可以用一个命令启动整个集群。

格式化 NameNode 以及启动 HDFS 系统

master这台机器上,输入命令 HDFS 格式化命令。

  • 执行命令hdfs namenode -format

格式化完成之后,输入 HDFS 系统启动命令。

  • 执行命令start-dfs.sh

接下来,检查 HDFS 是否启动成功。在游览器中输入http://192.168.56.101:50070/,默认为NameNodeIP + 50070端口,当你见到以下界面的时候,就说明你的集群已经起来了。

最后,再检查一下DataNode节点的启动情况:

如上图所示,我们配置的 4 个DataNode也起来了,这说明整个 HDFS 集群搭建完成啦!


转载声明:本文转自简书「陈_志鹏」的「HDFS系统的搭建(整理详细版)」这篇文章。

温馨提示:本文与原文相比有些许改动,但整体流程未变,图片也是直接引用,在此对原作者的分享表示感谢!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 编程思想 之「多态、初始化顺序、协变返回类型」

    在面向对象的编程语言中,有三个特性,分别为:封装、继承和多态。实现多态的前提是继承,多态的作用是消除类型之间的耦合关系。对于多态,我们常说的词有两个,分别为:向...

    CG国斌
  • 编程思想 之「多态、初始化顺序、协变返回类型」

    在面向对象的编程语言中,有三个特性,分别为:封装、继承和多态。实现多态的前提是继承,多态的作用是消除类型之间的耦合关系。对于多态,我们常说的词有两个,分别为:向...

    CG国斌
  • 详述 IntelliJ IDEA 远程调试 Tomcat 的方法

    博主说:在调试代码的过程中,为了更好的定位及解决问题,有时候需要我们使用远程调试的方法。在本文中,就让我们一起来看看,如何利用 IntelliJ IDEA 进...

    CG国斌
  • 大数据系列(2)——Hadoop集群坏境CentOS安装

    前言 前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,...

    小莹莹
  • 打造自己的MapReduce[一]:Hadoop集群搭建

    那就是我在这里的每一篇文开头都必然是:最近工作好忙,又断更很久了……Anyway,这也不能成为偷懒的理由。我可能对记录技术有些固执的误解,总认为是要待到整理出一...

    星回
  • Hadoop快速入门

    传说中的Hadoop,我终于来对着你唱"征服"了,好可爱的小象,!J 总的来说,hadoop的思路比较简单(map-reduce),就是将任务分开进行,最后汇总...

    用户1216676
  • 快速学习-HDFS HA高可用

    1)所谓HA(High Available),即高可用(7*24小时不中断服务)。 2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的H...

    cwl_java
  • Hive部署及两种启动方式

    Facebook解决海量日志数据的分析而开发了Hive,后来开源给了Apache软件基金会。

    公众号guangcity
  • 在centos7上进行hadoop-3.1.2的伪分布搭建

    vi /etc/sysconfig/network-scripts/ifcfg-ens33(网卡名称可能不同)

    爱学习的孙小白
  • Hadoop使用(一)

    hadoop框架 Hadoop使用主/从(Master/Slave)架构,主要角色有NameNode,DataNode,secondary NameNode,J...

    cloudskyme

扫码关注云+社区

领取腾讯云代金券