Hadoop2.x linux&mac下分布式安装部署

mkdir -p /opt/modules //安装目录
tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules  //解压
rm -rf /opt/modules/hadoop-2.5.0/share/doc //删除文档,占用空间
rm /opt/modules/hadoop-2.5.0/etc/hadoop/*.cmd 删除windows执行文件
cd /opt/modules/hadoop-2.5.0/etc/hadoop
  • 配置hadoop.evn.sh
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home   //配置java环境
  • 配置/etc/host
在 /etc/host 加上
127.0.0.1   bigdata-msenior01.kfk.com
  • 配置core-site.xml
先执行 mkdir /data/tmp 创建存储路径
然后修改core-site
<configuration>  
   <!--配置域名和端口-->
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-msenior01.kfk.com:9000</value>
    </property>
     <property>
   <!--配置存储路径-->
         <name>hadoop.tmp.dir</name>
         <value>/Users/gaowenfeng/opt/modules/hadoop-2.5.0/data/tmp</value>
    </property>
</configuration>

详情请参考 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/core-default.xml

  • 配置hdfs-site.xml
<configuration>
   <!--配置副本数-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
   <!--配置默认不进行权限校验-->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

详情请参考 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/hdfs-default.xml

  • 配置slaves
修改localhost为 bigdata-msenior01.kfk.com
  • 系统的 format
cd /opt/modules/hadoop2.5.0/  && bin/hdfs namenode -format
  • 启动
cd /opt/modules/hadoop2.5.0/ && sbin/hadoop-daemon.sh start namenode
cd /opt/modules/hadoop2.5.0/ && sbin/hadoop-daemon.sh start datanode

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏JAVA烂猪皮

Java如何调用dll

-----------------------------前置条件-------------------------------------

1711
来自专栏康怀帅的专栏

CoreOS 安装服务本地服务器 Docker 化

由于网络问题,避免外网下载镜像占用时间。安装(请查看本博客 CoreOS 分类下的文章) CoreOS 过程中的所需文件全部放到自己搭建的内网服务器。 本博客 ...

3384
来自专栏xingoo, 一个梦想做发明家的程序员

Elasticsearch集群配置以及REST API使用

ES安装与启动   在官网下载压缩包,解压后直接运行bin目录下的.bat文件即可。下载地址戳这里。 ? ES配置集群   Elasticsearch配置集群很...

19710
来自专栏惨绿少年

ESXI 6.5 从载到安装

下载ESXI 访问官网 https://www.vmware.com 到download,选择vsphere ? 下载esxi https://my...

3066
来自专栏Python研发

linux基本命令

   ifconfig(查看系统ip) root(超级用户)     passwd(设置密码)     username(用户名)        (加目录用~表...

1002
来自专栏博客园

Windows下Nginx的启动、停止等命令

http://wanganwu.blog.163.com/blog/static/7788722012322111417966/

1332
来自专栏问天丶天问

eclipse 运行springboot项目

3893
来自专栏Java成神之路

计算机_网络_01_配置IE代理

1073
来自专栏章鱼的慢慢技术路

Ubuntu环境使用apt命令下载管理包的优势

之前在Ubuntu下我一直坚持将软件下载包下载到指定文件夹下进行解压安装的习惯,在部门同事的建议下,我开始使用apt命令下载管理包。

1765
来自专栏hbbliyong

Ubuntu 安装 JDK8 的两种方式

ubuntu 安装jdk 的两种方式: 1:通过ppa(源) 方式安装. 2:通过官网下载安装包安装. 这里推荐第1种,因为可以通过 apt-get upgra...

1.1K9

扫码关注云+社区

领取腾讯云代金券