Hadoop 2.7 伪分布式环境搭建

1、安装环境

①、一台Linux CentOS6.7 系统

  hostname                ipaddress                subnet mask                  geteway    

   Node1     192.168.139.150    255.255.255.0      192.168.139.2

  ②、hadoop 2.7 安装包

    百度云下载链接:http://pan.baidu.com/s/1gfaKpA7 密码:3cl7

2、安装 JDK

  教程:https://cloud.tencent.com/developer/article/1012685

3、配置本机 ssh 免密码登录

  教程:https://cloud.tencent.com/developer/article/1012740

  上面教程是配置多台机器 ssh 免秘钥登录的配置。那么本机配置的话。输入如下命令即可:

ssh-keygen -t rsa -P ''
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

  完成之后,以 root 用户登录,修改 ssh 配置文件

vi /etc/ssh/sshd_config

  把文件中的下面几条信息的注释去掉: 

  RSAAuthentication yes # 启用 RSA 认证   PubkeyAuthentication yes # 启用公钥私钥配对认证方式   AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

  然后重启服务

service sshd restart

  验证出现如下界面,中间不需要输入密码,即配置完成。

4、安装 hadoop-2.7.3.tar.gz

  ①、将下载的 hadoop-2.7.3.tar.gz  复制到 /home/hadoop 目录下(可以利用工具 WinSCP)

  ②、解压,进入/home/hadoop 目录下,输入下面命令

tar -zxvf hadoop-2.7.3.tar.gz

  ③、给 hadoop-2.7.3文件夹重命名,以便后面引用

mv hadoop-2.7.3 hadoop2.7

  ④、删掉压缩文件 hadoop-2.7.3.tar.gz,并在/home/hadoop 目录下新建文件夹 tmp

mv hadoop-2.7.3 hadoop2.7

  ⑤、配置 hadoop 的环境变量(注意要使用 root 用户登录)

vi /etc/profile

  输入如下信息:

  然后输入如下命令保存生效:

source /etc/profile

  ⑥、验证

  在任意目录下,输入 hadoop,出现如下信息即配置成功

5、修改配置文件

  ①、/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh

  输入命令

  修改 hadoop-env.sh 的 JAVA_HOME 值

  ②、/home/hadoop/hadoop2.7/etc/hadoop目录下的core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.139.150:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
</configuration>

  ③、/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

到此我们便配置完成一个 hdfs 伪分布式环境  

  启动 hdfs Single Node

  ①、初始化 hdfs 文件系统

bin/hdfs namenode -format

②、启动 hdfs 

sbin/start-dfs.sh

③、输入 jps 应该会有如下信息显示,则启动成功

  那么我们就可以 通过 http://192.168.139.150:50070 来访问 NameNode

  我们点开 Datanodes ,发现就一个 datanode ,而且 IP 是 NameNode 的

   我们使用命令创建一个文件

  那么在网页上我们就能看到这个文件

④、关闭 hdfs

 sbin/stop-dfs.sh

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏WindCoder

Tomcat设置虚拟目录

在tomcat文件夹的conf\catalina\localhost(对于Tomcat6版本及其以上,需要自己创建catalina和localhost这两个文件...

641
来自专栏http://www.cnblogs.com

centos7安装部署gitlab服务器

我这里使用的是centos 7 64bit,我试过centos 6也是可以的! 1. 安装依赖软件 yum -y install policycoreutils...

45310
来自专栏python全栈布道师

配置vim为pythonIDE小结

3325
来自专栏Python爬虫与数据挖掘

Centos7.4系统的虚拟机网络配置教程

前几天小编给大家分享了如何给Centos6.7版本的虚拟机配置网络,感兴趣的小伙伴可以点击进去看看。小编按照Centos6.7版本的虚拟机网络配...

811
来自专栏菩提树下的杨过

ubuntu13.04环境hadoop1.2.1单机模式安装

一、虚拟机上安裝ubuntun 13.04 中文版 当然,你要是习惯看英文版,也可以直接安装英文版。 老老实实从官网下载安装即可,安装系统不是本文的重点。这里只...

1709
来自专栏开源项目

码云 Android apk 在线构建功能上线啦

duang duang duang …… 各位看官,开源中国码云 Android 项目构建新功能上线啦!! 码云支持的项目中, ant/maven/gradle...

3458
来自专栏小小挖掘机

windows下虚拟机配置spark集群最强攻略!

1、虚拟机安装 首先需要在windows上安装vmware和ubuntu虚拟机,这里就不多说了 vmware下载地址:直接百度搜索,使用百度提供的链接下载,这里...

2996
来自专栏weixuqin 的专栏

Mac下安装 MongoDB

2785
来自专栏野路子程序员

Centos7+Nginx+PHP 基础WEB运行环境手工部署

3246
来自专栏分布式系统和大数据处理

基于Docker的持续集成方案(安装和配置docker镜像仓库) - Part.5

在《基于Docker的持续集成方案(介绍) - Part.1》中,有一个安装和配置环节,即私有的docker镜像仓库,本文将对此进行介绍。

664

扫码关注云+社区