专栏首页算法无遗策Hadoop完全分布式安装

Hadoop完全分布式安装

完全分布式安装部署,其实步骤上来说与伪分布式没有太大的区别,主要增加2台虚拟机部署称为一个3台的集群

环境的准备

在现有基础上克隆出来2台虚拟机,并且修改网段IP ,以及主机名称 映射路径 hosts ,关闭防火墙,创建独立hadoop用户,赋予sudo权限

完成以上的环境准备之后,应该手头上存在3台虚拟机,并且防火墙已经关闭,而且设置好了主机名称以及映射地址

集群的规划

主要需要配置的组件: HDFS(负责存储) Yarn HistoryServer

集群的安装

在集群安装之前,必须要安装JDK环境

配置Hadoop完全分布式环境,从配置文件开始

首先解压hadoop安装路径到/opt/app中

sudo tar -zvxf hadoop-2.7.2.tar.gz -C /opt/app/

1 修改Hadoop-env.sh 中 JAVA_HOME路径

export JAVA_HOME=/opt/app/jdk1.8.0_181

2 配置core-site.xml 配置文件

<property><name>fs.defaultFS</name><value>hdfs://hadoop01:8020</value></property><property><name>hadoop.tmp.dir</name><value>/opt/app/hadoop-2.7.2/data/tmp</value></property>

3 配置hdfs-site.xml

<property><name>dfs.namenode.secondary.http-address</name><value>hadoop02:50090</value></property><property><name>dfs.namenode.http-address</name><value>hadoop01:50070</value></property>
<property><name>dfs.permissions.enabled</name><value>false</value></property>

dfs.namenode.secondary.http-address: 设置secondaryNameNode服务进程的主机位置

dfs.namenode.http-address:NameNode WEB界面访问的地址配置

dfs.permissions.enabled:HDFS的权限验证 默认开启 需要关闭

Yarn配置

配置yarn.site.xml配置文件

<property><name>yarn.resourcemanager.hostname</name><value>hadoop03</value></property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><!--<value>mapreduce_shuffle</value>--></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property>
<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>

yarn.resourcemanager.hostname:指定Resourcemanager 在指定节点上

配置mapred

配置mapred-site.xml配置文件

<property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop03:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop03:19888</value></property>

现在是完全分布式的环境,所以还需要配置savles文件,把从节点的主机名称添加进去

hadoop01

hadoop02

hadoop03

在分发之前,需要把etc/hosts 文件下配置好的映射地址分发到不同的节点上 保证每个节点上的hosts文件都是一样的

可以使用scp命令在不同的节点之间进行拷贝,命令使用方式如下

sudoscp /etc/hosts hadoop03:/etc/hosts

分发hadoop到不同的节点上

sudoscp -r /opt/app/hadoop-2.7.2/ hadoop03:/opt/app/

要记住: 如果使用sudo 在分发之后要记得修改权限为hadoop

格式化:namenode

在节点分发完成之后,在hadoop01节点上格式化namenode

bin/hadoopnamenode -format

启动进程

先单个节点启动HDFS测试:

在hadoop01上启动namenode 与datanode

sbin/hadoop-daemon.sh start namenodesbin/hadoop-daemon.sh start datanode

接下来在其他节点上启动datanode

sbin/hadoop-daemon.sh start datanode

在单节点上启动Yarn测试

在Hadoop03上启动resourcemanager

sbin/yarn-daemon.sh start resourcemanager

接下来在不同的节点上启动nodemanager

配置完ssh免密码登录之后就可以 使用start-all.sh 或者stop-all.sh

——END——

本文分享自微信公众号 - 算法无遗策(gh_6519e8c0cb55),作者:zoukeqing

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Hadoop1和Hadoop2的区别

    NameNode其实是Hadoop的一个目录服务,它包含着整个集群存储的文件的元数据。

    我脱下短袖
  • Spark2.x新特性的介绍

    dataframe与dataset统一,dataframe只是dataset[Row]的类型别名

    我脱下短袖
  • LeetCode动画 | 会员题1214.查找两颗二分搜索树之和

    今天还是分享关于二分搜索树的LeetCode题,是一个会员题,题号是 1214,标题是:查找两颗二分搜索树之和。

    我脱下短袖
  • Druid数据库连接池 实现数据库账号密码加密

    jar包版本:druid-1.0.15.jar 1. 加密,用以下命令将用户名和密码加密 cmd命令行执行 java -cp druid-1.0.15.jar ...

    冷冷
  • Hive篇--搭建Hive集群

    Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位置不一样。

    LhWorld哥陪你聊算法
  • Zookeeper + Hadoop2.6 集群HA + spark1.6完整搭建与所有参数解析

    yum install autoconfautomake libtool cmake

    用户3003813
  • 大数据-Hadoop的使用指南

    1.x版本系列:hadoop版本当中的第二代开源版本,主要修复0.x版本的一些bug等

    cwl_java
  • Hadoop 2.6.0集群搭建

    yum install autoconfautomake libtool cmake

    用户3003813
  • Spring MVC多个视图解析器及优先级

    如果应用了多个视图解析器策略,那么就必须通过“order”属性来声明优先级,order值越低,则优先级越高

    試毅-思伟
  • Hadoop HA及Failover搭建

    在Hadoop1.X版本中使用单个NameNode来管理所有的DataNode的元数据,一旦NameNode节点发生故障将导致整个集群不可用,而且必须手动恢复N...

    z小赵

扫码关注云+社区

领取腾讯云代金券