Hadoop集群配置

hadoop集群配置

1.多台机器ssh免密配置

修改用户名
# 1.更改hostname
hostnamectl --static set-hostname <主机名>
scp传输文件
scp <文件路径> <目标账号@地址>: 目标路径 
scp /etc/hosts root@hadoop2: /etc/
ssh免密登录
# 配置公钥
ssh-keygen 
# 配置免密登录
ssh-copy-id <目标ip>

2. 多台主机时间核对

所有机器安装ntp
yum -y install ntp
修改主机配置文件
1. 备份配置文件
cp /etc/ntp.conf /etc/ntp.conf.bak
2. 修改主机配置文件
vim /etc/ntp.conf 
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst
service 127.127.1.1 #核对时间的一个IP
3.重启ntpd进程,设置开机自启
systemctl restart ntpd
systemctl enable ntpd
配置其他主机
# 1. 校对其他主机时间
ntpdate hadoop1 #与主机校对时间
systemctl start ntpd #启动服务
crontab  # 配置定是脚本

# 2.修改其他主机配置文件
vim /etc/ntp.conf 
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst
server 192.168.121.10 #主主机IP

# 3. 在其他主机上设置开机自启

systemctl restart ntpd
systemctl enable ntpd

3. Hdfs 环境变量配置

# 配置JDK CDH中spark会默认到/usr/java/default目录下去找jdk,所以一般就安装在/usr/java目录下
vim etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/latest

# 配置文件etc/hadoop/core-site.xml
vim etc/hadoop/core-site.xml
<configuration>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop1:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop-2.6.0/data/tmp</value>
 </property>
</configuration>

# 配置文件vim etc/hadoop/hdfs-site.xml
<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
</configuration>
# python操作hdfs时需要获取权限
<property> 
	<name>dfs.permissions</name> 
<value>false</value> 
## 指定secondarynamenode节点
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>节点地址:50090</value>
</property>
# 配置下Hadoop的环境变量(略

# NameNode格式化  
hdfs namenode -format

# hdfs 的web监控端口50070
# 服务启动
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

# 创建文件夹
hdfs dfs -mkdir /test
# 上传文件
hdfs dfs -put /etc/profile /file

4. 配置Yarn

# 配置文件etc/hadoop/mapred-site.xml
vim etc/hadoop/mapred-site.xml
<configuration>
 <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
 </property>
</configuration>

# 配置文件etc/hadoop/yarn-site.xml
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop1</value>
</property>

# slaves设置
vim etc/hadoop/slaves
本机ip

# 启动yarn
sh start-yarn.sh

#启动后的Web端口为8088

5. 配置ZooKeeper

  1. 上传文件(zookeeper.tar.gz
  2. 解压至指定文件夹
  3. 创建data/zkData文件夹
  4. 修改配置文件
    cd conf
    cp zoo_sample.cfg  zoo.cfg
    vim zoo.cfg
    # 修改文件目录
    datadir=/usr/local/zookeeper/data/zkData
    # 配置各节点以及端口信息(选举节点:通信节点)
    server.1=hadoop1:2888:3888
    server.2=hadoop2:2888:3888
    server.3=hadoop3:2888:3888
  1. 将zookeeper整个文件夹发送到其他节点
  2. 在data/zkData文件夹下,创建myid
    • myid里面指定当前节点的id
    • 即hadoop1 里面的内容为1
    • hadoop2里面的内容为2
  3. 修改环境部变量(选
  4. 开启服务 # 开启服务 bin/zkServer.sh start # 查看角色分配以及当前状态 bin/zkServer.sh status # 进入虚拟文件系统的shell bin/zkCli.sh

6. 配置Hadoop-HA

hdfs-site.xml配置
vim etc/hadoop/hdfs-site.xml
<configuration>
 <property>
 # 对整个文件系统的一个统称
  <name>dfs.nameservices</name>
  <value>ns1</value>
 </property>
 <property>
 # 指定这个文件系统的namenode有哪些
  <name>dfs.ha.namenodes.ns1</name>
  <value>nn1,nn2</value>
 </property>
 <property>
 # 指定nn1是哪个
  <name>dfs.namenode.rpc-address.ns1.nn1</name>
  <value>hadoop1:8020</value>
 </property>
 <property>
 # 指定nn2 是哪个
  <name>dfs.namenode.rpc-address.ns1.nn2</name>
  <value>hadoop2:8020</value>
 </property>
 <property>
 # 指定nn1 的访问端口
  <name>dfs.namenode.http-address.ns1.nn1</name>
  <value>hadoop1:50070</value>
 </property>
 <property>
 # 指定nn2的访问端口
  <name>dfs.namenode.http-address.ns1.nn2</name>
  <value>hadoop2:50070</value>
 </property>
 <property>
 # 共享在journalnode上的共享端口
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/ns1</value>
 </property>
 <property>
 # 配置eidts在journalnode上的保存地址
  <name>dfs.journalnode.eidts.dir</name>
  <value>/usr/local/hadoop-2.6.0/data/dfs/jn</value>
 </property>
 <property>
 # 配置proxy代理客户端
  <name>dfs.client.failover.proxy.provide.nsl</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
配置core-site.xml
# 配置两个namennode的隔离策略
# sshfence方式
# 使用这种方式,必须实现ssh无密码登录

vim etc/hadoop/core-site.xml

<configuration>
 <property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
 </property>
 <property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
 </property>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://ns1</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop-2.6.0/data/tmp</value>
 </property>
</configuration>
启动集群
  • 关闭所有其他相关的进程
  • 启动所有的journalnode
    • hadoop-daemon.sh start journalnode
  • nn1 格式化并启动
    • hdfs namenode -formate
    • hadoop-daemon.sh start namenode
  • 在nn2上同步nn1的元数据信息
    • hdfs namenode -bootstrapStandby
  • 启动nn2 -hadoop-daemon.sh start namenode
  • 启动所有datanode
    • hadoop-daemon.sh start datanode
  • 调整一个nameno为active
    • hdfs haadmin -help (查看相关命令)
    • hdfs haadmin -transitionToActive nn1(将nn1调整为active)
借助zookeeper,配置自动故障转移
  1. 启动时都是standby,选取一个为active
  2. 监控 ZKFC(它负责整体的故障转移控制

配置

# 打开自动故障转移
# hdfs-site.xml:
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>

# core-site.xml:
# 添加zookeeper的服务
<property>
	<name>ha.zookeeper.quorum</name>
	<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>
启动
  1. 保证所有节点文件相同,关闭所有hdfs服务
  2. 启动zookeeper集群
    • zkServer.sh start
  3. 初始化HA在zookeeper中的状态
    • hdfs zkfc -formatZK -force
  4. 启动hdfs服务
    • start-hdfs.sh
    • 如果直接一起启动出现通信错误,造成namenode停止,则需要先启动journalnode,再启动其他
  5. namenode节点启动zkfc服务
    • hadoop-daemon.sh start zkfc

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 在Azure DevOps上编译.NET Core 2.2工程

    .NET Core 2.2 已经推出几周了,然而Azure DevOps的编译管道至今还在爆。微软还没有给Hosted VS2017的Agent安装.NET C...

    Edi Wang
  • Zbench一键Linux服务器检测脚本及如何使用

    Zbench一键Linux服务器检测脚本是一款全中文界面的脚本程序。曾经魏艾斯博客介绍过superbench脚本,检测结果全都是英文和拼音的,对于老手来说轻车熟...

    魏艾斯博客www.vpsss.net
  • 从一段挖矿病毒代码看Linux命令的实际应用

    最近做易生信培训时新购了一块阿里云,用于演示分析流程搭建和配置。短期使用,上面没有数据,也没做什么防范,结果不曾想,被挖矿病毒盯上了,给了一个近距离接触病毒的机...

    生信宝典
  • 将Azure上的Ubuntu 18.04升级到18.10

    嗯?我竟然又写了一篇很不Windows的文章,别杀我,这还是可以假装和微软Azure有点关系的,谁让微软爱Linux呢。Azure还没有放出Ubuntu 18....

    Edi Wang
  • 19个强大、有趣、又好玩的 Linux 命令!

    输出一句话,有笑话,名言什么的 (还有唐诗宋词sudo apt-get install fortune-zh)

    用户5807183
  • 进程间通信方式有哪些?

    进程能够单独运行并且完成一些任务,但是也经常免不了和其他进程传输数据或互相通知消息,即需要进行通信,本文将简单介绍一些进程之间相互通信的技术--进程间通信(In...

    编程珠玑
  • 电动调节阀的相关知识

    电动调节阀是工业自动化过程控制中的重要执行单元仪表。随着工业领域的自动化程度越来越高,正被越来越多的应用在各种工业生产领域中。与传统的气动调节阀相比具有明显的优...

    用户5777378
  • 如何在远程服务器上运行Jupyter Notebooks?

    Jupyter Notebook是许多数据科学家工具箱中的一个主要工具。作为一个工具,Jupyter Notebook可以通过交互方式简化数据分析、模型建模和实...

    AiTechYun
  • Linux学习21-设置定时任务crontab

    做自动化测试写的脚本需设置定时任务,在指定的时间去执行,这就需要用到定时任务。之前用jenkins可以在里面设置定时任务,很好用,其实不用jenkins,在li...

    上海-悠悠
  • 给Azure上的Ubuntu Server配置自动更新

    习惯使用Windows的小伙伴应该对自动更新并不陌生,虽然在这个没有QA的10代经常更新爆炸,但对于服务器管理来说还是十分方便的功能。Linux的世界有点不太一...

    Edi Wang

扫码关注云+社区

领取腾讯云代金券