腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Jed的技术阶梯

专栏作者

220

文章

369119

阅读量

48

订阅数

009.统一数据采集平台DBus-0.6.1安装部署

zookeeper 大数据 nginx 云数据库 SQL Server 打包

我的环境已经安装了Ambari-2.7.4.0+HDP-3.1.4.0大数据平台，已安装的组件的版本如下：

2020-11-12

1.9K0

006.CM大数据平台实践之集群扩容

zookeeper 大数据 centos linux

将m162p133这台机器添加到大数据集群中，并重新规划大数据集群中各组件的角色。

2020-06-16

4980

003.CM大数据平台实践之HDFS升级为高可用

zookeeper hdfs 高可用

1. 安装Zookeeper 2. HDFS升级为高可用

2020-06-16

3210

zookeeper-3.4.10的安装配置

zookeeper hadoop windows linux http

leader：能接收所有的读写请求，也可以处理所有的读写请求，而且整个集群中的所有写数据请求都是由leader进行处理 follower：能接收所有的读写请求，但是读数据请求自己处理，写数据请求转发给leader observer：跟follower的唯一的区别就是没有选举权和被选举权因为hadoop01、hadoop02和hadoop03具有选举权，所以它们的角色是变化的，当leader宕机，会重新选举leader，而hadoop04的角色是observer，所以它没有选举和被选举权，只负责处理请求要求：整个zookeeper集群中可以参与选举的节点的个数为奇数个，因为zookeeper的选举机制为半数机制，即超过一半的节点投票给某个节点，该节点就是新的leader

2018-09-13

1.6K0

Hadoop高可用(HA)集群搭建

hadoop windows linux jdk zookeeper

HA：High Available，高可用在Hadoop 2.0之前，在HDFS集群中NameNode存在单点故障 (SPOF：A Single Point of Failure) 对于只有一个NameNode的集群，如果NameNode机器出现故障(比如宕机或是软件、硬件升级)，那么整个集群将无法使用，直到NameNode重新启动

2018-09-13

4.2K0

Spark HA集群搭建

spark hadoop windows linux zookeeper

比如分别把这两个文件重命名为start-spark-all.sh和stop-spark-all.sh 原因：如果集群中也配置HADOOP_HOME，那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件，当你执行这两个文件，系统不知道是操作hadoop集群还是spark集群。修改后就不会冲突了，当然，不修改的话，你需要进入它们的sbin目录下执行这些文件，这肯定就不会发生冲突了。我们配置SPARK_HOME主要也是为了执行其他spark命令方便。

2018-09-13

1.4K0

HBase和Hive整合

hbase hive jar xml zookeeper

1-3步骤不是必须的，如果没有进行1-3步骤的设置，那么想要让hive和hbase整合，每次进入hive命令行后，需要进行如下配置：

2018-09-13

9580

Kafka单节点与伪分布式集群搭建

分布式 hadoop zookeeper windows linux

所谓Kafka伪分布式，就是一个节点启动多个Kafka服务，只需要新增加server.properties配置文件，并按照新的配置文件再启动一个服务即可，当然数量可以看自己心情，我这里就再启动一个kafka服务

2018-09-13

2.1K0

Kafka集群搭建

hadoop zookeeper windows linux http

---- 环境准备服务器集群我用的CentOS-6.7版本的3个虚拟机，主机名为hadoop01、hadoop02、hadoop03，这3台虚拟机既是zookeeper集群，又是kafka集群(但在生产环境中，这两个集群一般搭建在不同的机架中)，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的) 关于虚拟机的安装可以参考以下两篇文章：在Windows中安装一台Linux虚拟机通过已有的虚拟机克隆四台虚拟机 Zookeeper集群参考zookeeper-3.

2018-09-13

1.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态