一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)

1:能否让两个NameNode都正常影响客户端请求?

  应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求,相应请求的必须为Active状态的那一台。

2:standBy状态的节点必须能够快速无缝的切换为active状态:

  意味着两个NameNode必须时刻保持元数据的一致;

3:HA机制,元数据共享存储,数据同步的问题:

  分布式应用:管理edits(同步数据)   qjoural:依赖zookeeper实现

4:如何避免状态切换时候发生brain split现象:     fencing:一是ssh发送kill指令,二是执行自定义shell脚本

5:hadoop分布式集群HA模式部署,三台机器跑集群:   第一台机器:Zookeeper1 NameNode1 zkfc1 journalnode1   第二台机器:Zookeeper2 NameNode2 zkfc2 journalnode2   第三台机器:Zookeeper3 journalnode3 dataNode1 6:hadoop分布式集群HA模式部署,七台机器跑集群:   第一台机器:namenode zkfc   第二台机器:namenode zkfc   第三台机器:resourcemanager   第四台机器:resourcemanager   第五台机器:zookeeper journalnode dataNode nodemanager   第六台机器:zookeeper journalnode dataNode nodemanager   第七台机器:zookeeper journalnode dataNode nodemanager

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java架构师

Hadoop总结篇之一------开篇

从今天开始新的系列:Hadoop总结篇 之前的hadoop学习篇由于是学习过程中随手记下来的一些内容,不具有系统性。所以在这个系列中,将凭着这段时间的研究心得,...

2705
来自专栏祝威廉

Spark Streaming 妙用之实现工作流调度器

其他的都是基础设施。按照Transfomer架构的设计理念,我们应该可以找到一个Estimator ,作为我们的基础设施,我们只要关注上面两点即可,不需要为部署...

671
来自专栏程序人生

软件性能调优:看数据,还是谈概念?

上周写了「想让服务器跑得快,并不是换个编程语言那么简单」,很多朋友的留言歪了楼:论性能,C语言甩Python数倍到数十倍,你说和编程语言没关?拜托,程序君只是说...

2704
来自专栏xingoo, 一个梦想做发明家的程序员

循序渐进,了解Hive是什么!

一直想抽个时间整理下最近的所学,断断续续接触hive也有半个多月了,大体上了解了很多Hive相关的知识。那么,一般对陌生事物的认知都会经历下面几个阶段: ...

2255
来自专栏木宛城主

SharePoint 2013 实现多级审批工作流

上一篇介绍了安装和配置SharePoint 2013 Workflow,这一篇将用SharePoint 2013 Designer Workflow来实现一个...

2149
来自专栏Albert陈凯

Spark运行机制与原理详解目录Spark Internals

https://github.com/JerryLead/SparkInternals Spark Internals Spark Version: 1.0.2...

5746
来自专栏QQ会员技术团队的专栏

大规模 codis 集群的治理与实践

本文将从方案选型、整体架构、自动化接入、数据迁移、高可用、运营实践等方面详细介绍我们在生产环境中的实践情况。

1.1K4
来自专栏腾讯云服务器团队的专栏

腾讯云批量计算介绍

最初,公有云的工作负载以服务型负载为主,各大厂商也进行了诸多针对性优化。随着云计算的快速发展,越来越多的、不同行业的用户开始使用公有云,批处理型负载显著增加。针...

9202
来自专栏双十二技术哥

Android性能优化(六)之卡顿那些事

对普通用户而言,类如内存占用高、耗流量、耗电量等性能问题可能不会轻易发现,但是卡顿问题用户一定会立马直观的感受到。本文就带你一览卡顿的发生、检测、及优化。

902
来自专栏PPV课数据科学社区

实用 | Apache Hadoop 3.0.0-alpha2版本发布

作者:Andrew Wang,Ray Chiang Andrew Wang是Cloudera公司HDFS团队的一名软件工程师、Apache Hadoop PMC...

2784

扫码关注云+社区