腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

964

文章

2345639

阅读量

704

订阅数

0831-5.15.1-ResourceManager卡住导致集群job无法提交异常分析

node.js yarn 专用宿主机 zookeeper

本文描述了一次因为Zookeeper的异常导致ResourceManager卡住，从而导致集群所有作业无法提交的问题分析和处理。

2021-03-11

1.2K0

0826-5.16.2-如何读取和分析Zookeeper Transaction Log 和Snapshots

node.js zookeeper 专用宿主机

在进行故障排除时，我们可能希望深入了解二进制形式的Zookeeper事务日志和快照，以便从中获取更多可读信息。本文描述了如何通过读取Zookeeper事务日志和快照来排查zookeeper相关问题。

2020-12-29

1.5K0

0793-5.16.2-如何迁移单个Zookeeper实例

迁移 hadoop zookeeper hbase TDSQL MySQL 版

随着集群规模的不断扩大，在对集群进行调整优化时。时常会考虑对集群的角色进行优化调整，这就会涉及到服务角色的迁移。本篇文章主要介绍如何将Zookeeper服务的单个实例从一个节点迁移到其他节点。

2020-08-03

1.2K0

0533-6.1-如何使用Cloudera Manager启用YARN的HA

yarn zookeeper github node.js 大数据

前面Fayson写过《6.1-如何使用Cloudera Manager启用HDFS的HA》，YARN的HA架构和HDFS的HA类似，需要启动两个ResourceManager，这两个ResourceManager会向ZooKeeper集群注册，通过ZooKeeper管理它们的状态（Active和Standby）并进行自动故障转移。本篇文章主要讲述如何使用Cloudera Manager启用YARN的HA。

2019-11-28

8050

HDFS Router-based Federation

rpc zookeeper 大数据编程算法

Hadoop 社区为了解决 HDFS 横向扩展的问题，早前的版本中实现了基于 ViewFs 的 Federation 架构，而在最新的 Hadoop 版本中，社区又实现了基于 Router 的 Federatio n架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。Router 将挂载表从 Client 中抽离了出来，解决了挂载表不一致的问题，本篇文章就会介绍 HDFS Router-based Federation 的架构和特性。

2019-07-30

2.4K0

0641-5.16.1-如何禁用CDH5.16.1的Kerberos

kerberos zookeeper 专用宿主机大数据 hive

Fayson在前面的文章介绍了如何为CDH集群启用Kerberos，在集群启用Kerberos后，会对现有环境的部分代码做改造，有些人觉得使用起来不方便，想取消Kerberos。本篇文章Fayson主要介绍如何禁用CDH集群的Kerberos及禁用后对各组件服务的测试。

2019-05-29

1.3K0

0596-6.2.0-如何在CDH6.2中禁用Kerberos

kerberos zookeeper 大数据专用宿主机 hbase

Fayson在前面的文章介绍了如何为CDH集群启用Kerberos，在集群启用Kerberos后，会对现有环境的部分代码做改造，有些人觉得使用起来不方便，想取消Kerberos。本篇文章Fayson主要介绍如何禁用CDH集群的Kerberos及禁用后对各组件服务的测试。

2019-04-28

2.6K0

HDFS Federation（联邦）简介

存储 zookeeper hadoop rpc java

本文主要介绍HDFS Federation（联邦）相关知识，为后续文章《如何为CDH集群启用Federation（联邦）》做一个简单的铺垫。Federation即为“联邦”，该特性允许一个HDFS集群中存在多组Namenode同时对外提供服务，分管一部分目录（水平切分），彼此之间相互隔离，但共享底层的Datanode存储资源。

2018-09-29

6.9K0

集群启用Kerberos后对Zookeeper的Znode操作异常分析

kerberos zookeeper

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.问题描述 ---- 在CDH集群中Zookeeper已启用Kerberos服务，在命令行为使用Kerberos账号进行Kinit操作，使用zookeeper-client登录后仍然可以进行创建znode和删除znode，并且可以删除其它有服务的Znode，具体操作如下： [root@ip-172-31-3

2018-04-18

2.4K1

如何使用Zookeeper实现HiveServer2的HA

之前Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》，这种方案也有一些弊端，如HAProxy本身就是单点，虽然可以通过Keepalived来实现HAProxy的高可用，但这样配置会比较麻烦并且需要多部署两个组件，增大了系统运维的复杂度。在大数据平台中Zookeeper是一个必不可少且自身具有高可用保证的组件，本文主要讲述如何使用Zookeeper实现HiveServer2的HA。

2018-03-29

5.7K2

HOSTS配置问题导致集群异常故障分析

hadoop zookeeper hive 大数据 yarn

CM节点上的所有服务的角色日志不能正常通过ClouderaManager控制台查看，显示如下错误：

2018-03-29

3K0

Zookeeper指标分析

zookeeper 专用宿主机

通过CDH管理平台，进入Zookeeper管理界面，Zookeeper的平均请求延迟、最小请求延迟、最大请求延迟指标趋势图维持不变，指标数据异常。

2018-03-29

2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态