专栏首页技术专栏Hadoop2.x linux&mac下分布式安装部署

Hadoop2.x linux&mac下分布式安装部署

mkdir -p /opt/modules //安装目录
tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules  //解压
rm -rf /opt/modules/hadoop-2.5.0/share/doc //删除文档,占用空间
rm /opt/modules/hadoop-2.5.0/etc/hadoop/*.cmd 删除windows执行文件
cd /opt/modules/hadoop-2.5.0/etc/hadoop
  • 配置hadoop.evn.sh
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home   //配置java环境
  • 配置/etc/host
在 /etc/host 加上
127.0.0.1   bigdata-msenior01.kfk.com
  • 配置core-site.xml
先执行 mkdir /data/tmp 创建存储路径
然后修改core-site
<configuration>  
   <!--配置域名和端口-->
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-msenior01.kfk.com:9000</value>
    </property>
     <property>
   <!--配置存储路径-->
         <name>hadoop.tmp.dir</name>
         <value>/Users/gaowenfeng/opt/modules/hadoop-2.5.0/data/tmp</value>
    </property>
</configuration>

详情请参考 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/core-default.xml

  • 配置hdfs-site.xml
<configuration>
   <!--配置副本数-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
   <!--配置默认不进行权限校验-->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

详情请参考 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/hdfs-default.xml

  • 配置slaves
修改localhost为 bigdata-msenior01.kfk.com
  • 系统的 format
cd /opt/modules/hadoop2.5.0/  && bin/hdfs namenode -format
  • 启动
cd /opt/modules/hadoop2.5.0/ && sbin/hadoop-daemon.sh start namenode
cd /opt/modules/hadoop2.5.0/ && sbin/hadoop-daemon.sh start datanode

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MapReduce学习笔记

    wordcount: 统计文件中每个单词出现的次数需求:1) 文件内容小:shell2)文件内容很大:TB GB ??? 如何解决大数据量的统计分析==> ur...

    Meet相识
  • 《数据仓库工具箱》- 第三章零售业务中的知识点汇总

    维度定义的是谁,什么时候,在哪的问题,作为聚合查询中的查询条件,分组条件,排序条件

    Meet相识
  • 2.5 实现注册节点

    实现注册节点这个功能比较简单,就是在我们的BlockChain类中 维护一个成员变量nodes,其类型是Set。然后通过Http接口接受穿过来的地址,将其保存到...

    Meet相识
  • Linux部署hadoop2.7.7集群

    node0、node1、node2三台机器之间要设置SSH免密码登录,详细的设置步骤请参考《Linux配置SSH免密码登录(非root账号)》;

    程序员欣宸
  • 如何安装和设置3节点Hadoop集群

    Hadoop是一个开源Apache项目,允许在大型数据集上创建并行处理应用程序,分布在网络节点上。它由处理节点间数据可扩展性和冗余的Hadoop分布式文件系统(...

    chokwin
  • 一脸懵逼学习Hadoop分布式集群HA模式部署(七台机器跑集群)

    1)集群规划: 主机名          IP      安装的软件                      运行的进程 master    192.168...

    别先生
  • Hadoop hdfs完全分布式搭建教程

    1、安装环境 ①、四台Linux CentOS6.7 系统   hostname                ipaddress              ...

    IT可乐
  • Win7下Eclipse开发hadoop应用程序环境搭建

    在Linux下使用安装Eclipse来进行hadoop应用开发,但是大部分Java程序员对linux系统不是那么熟悉,所以需要在windows下开发hadoop...

    挖掘大数据
  • Hadoop(2)——HDFS(分布式文件系统)

    英文全称是The Hadoop Distributed File System官方地址http://hadoop.apache.org/docs/stable/...

    羊羽shine
  • YARN调试过程中的常见问题

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount ...

    瑾诺学长

扫码关注云+社区

领取腾讯云代金券