Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
496 篇文章
278 人订阅

全部文章

Fayson

0545-Cloudera Manager中Entryopy警告处理

在使用CDH集群的过程中,有时会在Cloudera Manager的控制台上看到关于Entropy的告警如下显示:

1053
Fayson

Druid 在有赞的实践

Druid 是 MetaMarket 公司研发,专为海量数据集上的做高性能 OLAP (OnLine Analysis Processing)而设计的数据存储和...

1472
Fayson

0546-6.1-使用Cloudera Manager API启停组件说明

CDH平台的使用过程中,部分用户会将Hadoop平台的管理功能(如:服务组件的启停操作等)集成到公司现有的平台中,本篇文章Fayson主要介绍如何通过Cloud...

843
Fayson

0544-CDSW1.5的新功能

Cloudera于2019年1月29日发布CDSW1.5,因为恰逢过年,所以Fayson没第一时间翻译。1.5的主要更新是C6中终于可以使用CDSW了,另外HD...

1172
Fayson

0543-5.15.0-Kerberos环境下Kafka管理工具Kafka Eagle安装使用

Fayson在前面的文章介绍了《如何在CDH集群安装Kafka Manager》和《0542-6.1.0-非安全环境下Kafka管理工具Kafka Eagle安...

931
Fayson

0542-6.1.0-非安全环境下Kafka管理工具Kafka Eagle安装使用

Fayson在前面的文章介绍了《如何在CDH集群安装Kafka Manager》,本篇文章Fayson介绍另外一款的监控工具Kafka-eagle,它可以同时监...

946
Fayson

0541-6.1.0-如何为Cloudera Manager设置反向代理

在复杂的网络环境下,总会遇到办公网络因为端口放通问题无法访问生产网或其他网段的服务,可以通过部署Nginx服务实现跨网段的多个服务反向代理(确保Nginx所在服...

722
Fayson

0539-5.15.0-HBase-Spark无法在Spark2编译通过问题解决

在Spark2代码中使用hbase-spark依赖包访问HBase时,编写的代码无法完成编译,在编译的过程中提示如下错误:

954
Fayson

0540-5.15.0-Spark2使用HBase-Spark访问HBase

越来越多的用户使用Spark对接HBase,对接HBase的方式有多种,通过HBase-client API实现,也有直接Spark On HBase的方式实现...

1233
Fayson

0538-5.15.0-Spark2 KuduContext访问Kudu

在集群中访问Kudu的方式有多种,可以通过Impala使用JDBC的方式,也可以通过Kudu提供的Client API方式,参考Fayson前面的文章《如何使用...

903
Fayson

0537-5.15.0-查询Parquet格式表异常问题

在Fayson的测试测试环境下有一张Parquet格式的表,由于业务需要对表的字段名称数据类型进行了修改和新增列等操作,导致使用Hive和Impala查询显示的...

671
Fayson

0495-如何在CDH6.1中启用Kerberos

在前面的文章中,Fayson介绍了《0491-如何在Redhat7.4安装CDH6.1》,这里我们基于这个环境开始安装Kerberos。Kerberos是一个用...

2472
Fayson

0490-如何为GPU环境编译CUDA9.2的TensorFlow1.8与1.12

从CDSW1.1.0开始支持GPU,具体可以参考Fayson之前的文章《如何在CDSW中使用GPU运行深度学习》,从最新的CDSW支持GPU的网站上我们可以查到...

4052
Fayson

0486-如何将Kerberos的CDH5.16.1从Oracle JDK 1.8迁移至OpenJDK 1.8

受前段时间Oracle官宣的从2019年1月之后将不再提供免费的的JDK商业版本的影响,Cloudera开始开发基于OpenJDK的Hadoop平台,参考Fay...

1463
Fayson

OpenLDAP管理工具之LDAP Admin

在CDH集群中集成了OpenLDAP后,在向LDAP中添加一个用户需要通过编辑ldif文件,对于一些不熟悉的新手来说是非常不方便的,在前面的文章《12.Open...

4502
Fayson

0487-CDH6.1的新功能

北京时间2018年12月19日,Cloudera正式发布Cloudera Enterprise 6.1.0,上次发布CDH6.0是8月30日,差不多过去了3个多...

4363
Fayson

0485-如何在代码中指定PySpark的Python运行环境

Fayson在前面的文章《0483-如何指定PySpark的Python运行环境》介绍了使用Spark2-submit提交时指定Python的运行环境。也有部分...

1184
Fayson

0488-Cloudera Manager6.1的新功能

北京时间2018年12月19日,Cloudera正式发布Cloudera Enterprise 6.1.0,昨天Fayson的文章介绍了《0487-CDH6.1...

3584
Fayson

0491-如何在Redhat7.4安装CDH6.1

Cloudera在前天12月19日,对外宣布正式发布Cloudera Enterprise 6.1,相关介绍可以参考Fayson昨天的文章《0487-CDH6....

4652
Fayson

0489-CDSW中用户Session访问外部数据目录

在使用CDSW1.4的过程我们发现,用户从本地上传到工程的数据文件不能正常访,有时会出现上传的数据文件权限及属主为root,有时上传较大的数据文件时会失败(基于...

841

扫码关注云+社区