一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)

1:能否让两个NameNode都正常影响客户端请求?

  应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求,相应请求的必须为Active状态的那一台。

2:standBy状态的节点必须能够快速无缝的切换为active状态:

  意味着两个NameNode必须时刻保持元数据的一致;

3:HA机制,元数据共享存储,数据同步的问题:

  分布式应用:管理edits(同步数据)   qjoural:依赖zookeeper实现

4:如何避免状态切换时候发生brain split现象:     fencing:一是ssh发送kill指令,二是执行自定义shell脚本

5:hadoop分布式集群HA模式部署,三台机器跑集群:   第一台机器:Zookeeper1 NameNode1 zkfc1 journalnode1   第二台机器:Zookeeper2 NameNode2 zkfc2 journalnode2   第三台机器:Zookeeper3 journalnode3 dataNode1 6:hadoop分布式集群HA模式部署,七台机器跑集群:   第一台机器:namenode zkfc   第二台机器:namenode zkfc   第三台机器:resourcemanager   第四台机器:resourcemanager   第五台机器:zookeeper journalnode dataNode nodemanager   第六台机器:zookeeper journalnode dataNode nodemanager   第七台机器:zookeeper journalnode dataNode nodemanager

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

大数据处理框架是怎样的原理

处理框架和处理引擎负责对数据系统中的数据进行计算。虽然“引擎”和“框架”之间的区别没有什么权威的定义,但大部分时候可以将前者定义为实际负责处理数据操作的组件,后...

1877
来自专栏蓝天

大数据利器

1033
来自专栏aCloudDeveloper

网络虚拟化

前言 网络虚拟化相对计算、存储虚拟化来说是比较抽象的,以我们在学校书本上学的那点网络知识来理解网络虚拟化可能是不够的。 在我们的印象中,网络就是由各种网络设备(...

1918
来自专栏

后端开源软件集合

缓存系统:memcached(group cache)、redis、mongodb、Couchbase(CouchDB、Membase、CouchOne) ht...

1709
来自专栏大数据

什么是Kafka

Kafka的增长是爆炸性的。财富500强企业中超过三分之一使用卡夫卡。这些公司包括十大旅游公司,十大银行中的七家,十大保险公司中的八家,十大电信公司中的九家,等...

8171
来自专栏云计算D1net

对于容器环境来说 全栈监控究竟意味着什么?

对于大多数人来说,“全栈”(Full Stack)的意思很好理解。但是如果我们的话题涉及到监控容器环境呢?整个事情就会开始变得有些模糊了。在这篇文章中,笔者探索...

3436
来自专栏灯塔大数据

干货|浅谈什么是Hadoop及如何学习Hadoop

首先hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。 HDFS有高容错性的特点,并且设计用来部署在...

33810
来自专栏云计算

云原生应用程序:原因、内容及方法

本文阐释了构建云原生应用程序的重要性、优点及其实现方式。

2735
来自专栏互联网开发者交流社区

高可用性的负载均衡方案之lvs+keepalived和haproxy+heartbeat区别

目前使用比较多的就是标题中提到的这两者,其实lvs和haproxy都是实现的负载均衡的作用,keepalived和heartbeat都是提高高可用性的,避免单点...

742
来自专栏Albert陈凯

Spark生态系统BDAS介绍

1.2 Spark生态系统BDAS 目前,Spark已经发展成为包含众多子项目的大数据计算平台。伯克利将Spark的整个生态系统称为伯克利数据分析栈(BDAS...

3475

扫码关注云+社区