大数据学习笔记-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据学习笔记

专栏成员

533

文章

781217

阅读量

73

订阅数

Zookeeper中的分布式一致性协议ZAB

分布式编程算法

在分布式系统中实现一致性是件困难的事。 Paxos 算法可以较好的解决分布式系统的一致性，但由于复杂，在实际工程上不是很合适。 ZAB（ZooKeeper Atomic Broadcast ）协议借鉴了 Paxos 的思想，ZAB在Paxos算法上做了重要改造，和Paxos有着明显的不同，以满足工程上的实际需求。

2022-05-06

3170

ZooKeeper典型应用

zookeeper node.js 分布式 hbase TDSQL MySQL 版

参考了：https://www.jianshu.com/p/84ad63127cd1

2022-05-06

3990

Hadoop基础教程-第8章 Zookeeper（8.1 Zookeeper介绍）

分布式缓存 zookeeper 编程算法

单点故障（single point of failure），从英文字面上可以看到是单个点发生的故障，通常应用于计算机系统及网络。实际指的是单个点发生故障的时候会波及到整个系统或者网络，从而导致整个系统或者网络的瘫痪。这也是在设计IT基础设施时应避免的。

2022-05-06

2230

Hadoop基础教程-第6章 MapReduce入门（6.4 MapReduce程序框架）

mapreduce 分布式 hadoop node.js 大数据

我们知道，从单线程编程到多线程编程，程序结构复杂度增大了。类似的，从单机程序到分布式程序，程序结构的复杂度也增大了。这是问题的复杂环境决定的。所以，很多初学者更接触分布式编程时，望而却步、知难而退了。可事实上，Hadoop是一个很易用的分布式编程框架，经过良好封装屏蔽了很多分布式环境下的复杂问题，因此，对普通开发者来说很容易，容易到可以依照程序模版，照葫芦画瓢。下面代码即是Hadoop的MapReduce程序模版，其中使用了Hadoop辅助类，通过Configured的getConf()方法获取Configuration对象，重写Tool接口的run方法，实现Job提交功能。这样就可以实现代码与配置隔离，修改MapReduce参数不需要修改java代码、打包、部署，提高工作效率。

2022-05-06

2540

Hadoop基础教程-第2章 Hadoop快速入门（2.3 Hadoop单机配置）

xml hadoop 分布式 bash bash 指令

常见的Hadoop部署模式分为单机模式和集群模式，也称为伪分布式模式和分布式模式。单机模式（伪分布式）模式是在一个节点上部署所有的Hadoop服务。在使用上，单机模式（伪分布式）模式跟集群模式（分布式模式）是一样的。

2022-05-06

2920

Hadoop基础教程-第1章环境安装配置（1.5 构建集群）

node.js bash bash 指令 tcp/ip 分布式

根据百度的解释：集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。

2022-05-06

2220

Linux 使用新磁盘

node.js 分布式

[root@node3 ~]# fdisk -l Disk /dev/sda: 450.1 GB, 450098159616 bytes, 879097968 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk label type: dos Disk identifier: 0x0008bf0a Device Boot Start End Blocks Id System /dev/sda1 * 2048 307202047 153600000 83 Linux /dev/sda2 307202048 311396351 2097152 82 Linux swap / Solaris /dev/sda3 311396352 879097855 283850752 83 Linux WARNING: fdisk GPT support is currently new, and therefore in an experimental phase. Use at your own discretion. Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes, 3907029168 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk label type: gpt # Start End Size Type Name 1 2048 3907028991 1.8T Microsoft basic primary

2022-05-06

1.7K0

SpringCloud 2.x学习笔记：20、Nacos的数据持久化(MySQL)

云数据库 SQL Server 数据库 sql 存储分布式

参考：http://blog.didispace.com/spring-cloud-alibaba-4/ 在搭建Nacos高可用集群之前，我们需要先修改Nacos的数据持久化配置为MySQL存储。如果启动多个默认配置下的Nacos节点，数据存储是存在一致性问题的。为了解决这个问题，Nacos采用了集中式存储的方式来支持集群化部署（目前只要支持MySQL的存储）。与其他的中间件相比，在实现上并没有采用分布式算法来解决一致性问题，而是采用了比较常规的集中化存储来实现。由于采用单一数据源的方式，直接避开了分布式一致性问题，Nacos的实现原理会更容易被理解和接受。但是，从部署的负责度和硬件投入成本上来说，与zookeeper等这些通过算法方式解决一致性问题的中间件相比，性能上有所下降。

2019-07-01

1.2K0

图解快速搭建Linux集群

node.js tcp/ip bash bash 指令分布式

根据百度的解释：集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。

2019-05-27

2.4K0

Flink学习笔记：2、Flink介绍

spark 分布式

2018-01-02

1.9K0

Hadoop基础教程-第14章大数据面试笔试题汇总（持续更新）

hbase hadoop 云数据库 Redis 分布式数据库

第14章大数据面试笔试题汇总（持续更新）注意：大部分题目来自互联网，部分题目来自同事口述 14.1 Zookeeper （1）Zookeeper是什么框架分布式的、开源的分布式应用程

2018-01-02

2.4K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态