专栏首页Albert陈凯P02_Hadoop CDH 5.3.6集群搭建

P02_Hadoop CDH 5.3.6集群搭建

安装hadoop包

1、下载hadoop-2.6.0-cdh5.12.0.tar.gz,上传到虚拟机的/usr/local目录下。[CDH下载地址](http://archive.cloudera.com/cdh5/cdh/5/) 2、将hadoop包进行解压缩:tar -zxvf hadoop-2.6.0-cdh5.12.0.tar.gz 3、对hadoop目录进行重命名:mv hadoop-2.6.0-cdh5.12.0.tar.gz hadoop 4、配置hadoop相关环境变量

vi /etc/profile

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

5、创建/usr/local/data目录

修改core-site.xml

<property>
  <name>fs.default.name</name>
  <value>hdfs://sparkproject1:9000</value>
</property>

修改hdfs-site.xml

<property>
  <name>dfs.name.dir</name>
  <value>/usr/local/data/namenode</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/usr/local/data/datanode</value>
</property>
<property>
  <name>dfs.tmp.dir</name>
  <value>/usr/local/data/tmp</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>

修改mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

修改yarn-site.xml

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>sparkproject1</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

修改slaves文件

sparkproject2
sparkproject3

在另外两台机器上搭建hadoop

1、使用如上配置在另外两台机器上搭建hadoop,可以使用scp命令将sparkproject1上面的hadoop安装包和/etc/profile配置文件都拷贝过去。(scp -r hadoop root@sparkproject2:/usr/local) 2、要记得对/etc/profile文件进行source,以让它生效。 3、记得在sparkproject2和sparkproject3的/usr/local目录下创建data目录。

启动hdfs集群

1、格式化namenode:在sparkproject1上执行以下命令,hdfs namenode -format 2、启动hdfs集群:start-dfs.sh3、验证启动是否成功:jps、50070端口 sparkproject1:namenode、secondarynamenode sparkproject2:datanode sparkproject3:datanode 4、hdfs dfs -put hello.txt /hello.txt

启动yarn集群

1、启动yarn集群:start-yarn.sh2、验证启动是否成功:jps、8088端口 sparkproject1:resourcemanager、nodemanager sparkproject2:nodemanager sparkproject3:nodemanager

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2018-10-10 fatal: cannot copy '/Applications/Xcode.app/Contents/Developer/usr/share/git-core/temp...

    https://stackoverflow.com/questions/40592463/homebrew-install-fails-while-copyin...

    Albert陈凯
  • Hadoop数据分析平台实战——010hadoop介绍安装

    本课程目标 本课程有以下几个目标: 第一:对hadoop没有了解的学员来说,可以帮助其了解在一般工作中hadoop的基本用法,以及对如何用hadoop有一定的了...

    Albert陈凯
  • Scala 课堂! 从 ∅ 到分布式服务

    http://twitter.github.io/scala_school/zh_cn/index.html Scala课堂是Twitter启动的一系列讲座,用...

    Albert陈凯
  • Linux中Centos7搭建Hadoop服务步骤

    下载Hadoop 官网:http://hadoop.apache.org/releases.html

    砸漏
  • 0基础搭建Hadoop大数据处理-集群安装

      经过一系列的前期环境准备,现在可以开始Hadoop的安装了,在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn...

    欢醉
  • HADOOP之3节点集群

    1.apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的,因为hadoop一些C++的本地库,所以如果在64位的操作上安装hadoop-2...

    py3study
  • 在centos7上进行hadoop-3.1.2的伪分布搭建

    vi /etc/sysconfig/network-scripts/ifcfg-ens33(网卡名称可能不同)

    爱学习的孙小白
  • Druid数据库连接池 实现数据库账号密码加密

    jar包版本:druid-1.0.15.jar 1. 加密,用以下命令将用户名和密码加密 cmd命令行执行 java -cp druid-1.0.15.jar ...

    冷冷
  • Hadoop(二)搭建伪分布式集群

    前言   前面只是大概介绍了一下Hadoop,现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享,先要看一下效果吧! 一...

    用户1195962
  • Hive篇--搭建Hive集群

    Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位置不一样。

    LhWorld哥陪你聊算法

扫码关注云+社区

领取腾讯云代金券