Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能

400 篇文章
155 人订阅

全部文章

Fayson

如何打包Livy和Zeppelin的Parcel包

Fayson在前面文章《Livy,基于Apache Spark的开源REST服务,加入Cloudera Labs》、《如何编译Livy并在非Kerberos环境...

893
Fayson

如何在CM中使用Parcel包部署Livy及验证

在前面的文章《如何打包Livy和Zeppelin的Parcel包》Fayson介绍了使用脚本打包Livy和Zeppelin的Parcel包,本篇文章Fayson...

634
Fayson

13.一键添加OpenLDAP用户及Kerberos账号

在CDH集群中启用了Kerberos并集成OpenLDAP之后,在添加OpenLDAP用户时比较复杂且容易忘记为添加的用户生成Kerberos账号,在添加Ope...

1033
Fayson

JupyterHub与OpenLDAP集成

Fayson在前面文章《如何在非安全的CDH集群中部署Jupyter并集成Spark2》及《如何在非安全的CDH集群中部署多用户JupyterHub服务并集成S...

833
Fayson

如何在非安全的CDH集群中部署多用户JupyterHub服务并集成Spark2

Fayson在前一篇文章《如何在非安全的CDH集群中部署Jupyter并集成Spark2》中介绍了Jupyter Notebook的部署与Spark2集成。Ju...

772
Fayson

如何通过CM升级CDK至3.1.0(Kafka-1.0.1)

在前面的文章《如何通过CM升级Kafka0.11及Spark2.2》中Fayson介绍了升级Kafka的方式。本篇文章Fayson主要介绍在CDH中如何升级CD...

843
Fayson

如何在非安全的CDH集群中部署Jupyter并集成Spark2

Jupyter Notebook是一个Web应用程序,允许你创建和分享,包含实时的代码,可视化和解释性文字。常用于数据的清洗和转换、数值模拟、统计建模、机器学习...

572
Fayson

如何通过CM迁移Zookeeper服务

在使用CDH集群过程中由于角色划分不合理或Zookeeper服务所在节点压力大等问题,需要对Zookeeper服务做迁移等操作。本篇文章Fayson主要介绍如何...

773
Fayson

如何编译适用于CDH的Tez版本并集成Kerberos环境的Hive2

在上一篇文章Fayson介绍了《非Kerberos环境下Hive2.2.0 On Tez集成》,使用Apache官网默认编译好的0.8.5版本的Tez,默认的版...

692
Fayson

CM部署客户端配置失败异常分析

在Cloudera Manager修改了服务的客户端配置后,执行部署客户配置报如下异常:

653
Fayson

Cloudera Agent服务异常分析

在Cloudera Manager的主机列表界面查看cdh05.fayson.com节点显示异常,节点上一次检测时间超过15s

894
Fayson

如何在Redhat7.4安装CDH6.0

Cloudera在前天8月30日,对外宣布正式发布Cloudera Enterprise 6,相关介绍可以参考Fayson昨天的文章《Cloudera Ente...

1676
Fayson

Cloudera Enterprise 6正式发布

2.针对CDH各个组件以及Cloudera Manager本身的自动化的TLS设置安装。

1262
Fayson

非Kerberos环境下Hive2.2.0 On Tez集成

在前面的文章《如何在CDH集群中安装Hive2.3.3》、《如何为Hive2启用Kerberos认证》及《Hive2.2.0如何与CDH集群中的Spark1.6...

762
Fayson

如何在CDH集群中部署Kafka Manager

为了能够方便的查看及管理Kafka集群,yahoo提供了一个基于Web的管理工具(Kafka-Manager)。这个工具可以方便的查看集群中Kafka的Topi...

632
Fayson

如何指定Spark2作业中Driver和Executor使用指定范围内端口

在CDH集群中提交Spark作业,大家也都知道Spark的Driver和Executor之间通讯端口是随机的,Spark会随选择1024和65535(含)之间的...

852
Fayson

CDH集群安装YARN无法正常启动及解决办法

在安装5.11.2版本的CDH集群时,或者为5.11.2版本的CDH集群扩容时,可能会遇到YARN的NodeManager实例无法启动的问题。本文主要讲述Nod...

674
Fayson

LDAP用户组信息异常导致Sentry授权失效问题分析

问题起因:“80040151”用户反映在Hue上通过Hive查询表数据出现异常,异常信息为权限拒绝,需要通过Sentry授权。然而通过beeline直连Hive...

863
Fayson

HDFS Federation(联邦)简介

本文主要介绍HDFS Federation(联邦)相关知识,为后续文章《如何为CDH集群启用Federation(联邦)》做一个简单的铺垫。Federation...

613
Fayson

周年庆

所以我现在编写这第366篇文章也是为了纪念这一年的时光,纪念这每天的一篇文章,纪念风里雨里从未间断过的自己,也是为了激励自己既然选择了这条路,就会义无反顾的坚持...

652

扫码关注云+社区