Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
582 篇文章
317 人订阅

全部文章

Fayson

0639-6.1.1-Spark读取由Impala创建的Parquet文件异常分析

2.通过CDH提供的parquet tool进行分析,参考《0631-6.2-如何确认一个Parquet文件是否被压缩》。

20
Fayson

0638-6.1.0-Cloudera Manager配置TLS

本文档主要介绍如何为已经安装好的CDH集群配置Cloudera Manager启用TLS。

252
Fayson

6.1.1-Hue上SQL查询结果显示不全异常分析

2.准备数据并导入到该Hive表中,注意我们准备的数据第四个字段即s4的值特别长,约有5000多个字符。

574
Fayson

0633-6.2.0-什么是Apache Sentry

Apache Sentry是Hadoop中的一个基于角色的细粒度授权组件。Sentry可以在Hadoop集群上对通过身份认证的用户和应用程序控制数据访问权限。S...

754
Fayson

0634-6.2.0-如何在CDH中安装Sentry服务

3.如果需要配置Sentry高可用,需要准备一个关系型数据库用以保存Sentry的权限信息,而不是一个平面文件(flat file)。

881
Fayson

0635-5.16.1-Hue集成HBase出现Api Error异常分析

2.回到Cloudera Manager上点击HBase服务,然后进入Thrift的配置页。

783
Fayson

0630-6.2-什么是HDFS ACL

HDFS支持POSIX访问控制列表(ACLs),以及已支持的传统POSIX权限模型。ACL通过给特定命名的user和group设置不同的权限的方法来控制HDFS...

1114
Fayson

0631-6.2-如何确认一个Parquet文件是否被压缩

1.使用Hive的desc命令查看Parquet表hive_table_test_parquet的底层文件格式是否被压缩。

672
Fayson

0632-6.2-通过Hive生成的Snappy表Impala无法访问异常分析

3.操作目标:把此hive表(hive_table_test_parquet)在表结构不变,数据内容不变的情况下压缩存储,得到新表(hive_table_tes...

663
Fayson

0626-如何监控OpenLDAP主主同步状态

本篇主要介绍在OpenLDAP在实现主主同步后,如何监控服务之间主主同步状态,通过监控及时发现主主同步失败问题。

1114
Fayson

0627-如何跳过HiveServer2 WebUI的Kerberos验证

在CDH集群启用Kerberos后,通过浏览器访问HiveServer2的Web UI时提示需要输入用户名和密码(即Kerberos账号进行认证)。在前面Fay...

762
Fayson

0628-6.2-如何在CDH6.2中启用Kerberos

在前面的文章中,Fayson介绍了《0610-6.2.0-如何在Redhat7.4安装CDH6.2》,这里我们基于这个环境开始安装Kerberos。Kerber...

945
Fayson

0629-6.2-如何使用CM API接口获取集群所有节点内存和磁盘使用情况

大家也知道Cloudera Manager提供了丰富的监控指标,部分客户也有自己统一的监控平台,需要将CM上的监控指标集成到统一的监控平台上,因此可以通过提供的...

1275
Fayson

从Storm到Flink,有赞五年实时计算效率提升实践

AI 前线导读:有赞是一个商家服务公司,提供全行业全场景的电商解决方案。在有赞,大量的业务场景依赖对实时数据的处理,作为一类基础技术组件,服务着有赞内部几十个...

1173
Fayson

0622-什么是Apache NiFi

2006年NiFi由美国国家安全局(NSA)的Joe Witt创建。2015年7月20日,Apache 基金会宣布Apache NiFi顺利孵化成为Apache...

674
Fayson

0625-6.2.0-Hello NiFi-第一个NiFi例子

Fayson在前面的文章介绍了什么是NiFi,参考《0622-什么是Apache NiFi》。同时对如何在CDH中使用Parcel安装CFM做了介绍,参考《06...

1025
Fayson

0624-6.2.0-NiFi处理器介绍与实操

Fayson在前面的文章介绍了什么是NiFi,参考《0622-什么是Apache NiFi》。同时对如何在CDH中使用Parcel安装CFM做了介绍,参考《06...

1073
Fayson

0623-6.2.0-如何在CDH中安装CFM

2019年4月15日,Cloudera在其官网宣布GA两款新的产品Cloudera Flow Management和Cloudera Edge Manageme...

974
Fayson

0618-6.1.1-如何在CDH6集群内节点安装MySQL5.7.22

在安装CDH集群时,可能会选择不同外部数据库作为集群的元数据库,具体可以参考《CDH安装前置准备》。在这里选择MySQL作为集群的元数据库,MySQL有两种安装...

1324
Fayson

0616-6.2.0-如何基于FTP的方式访问CDH中HDFS文件系统(续)

Fayson在前面的文章《0598-6.2.0-如何基于FTP的方式访问CDH中HDFS文件系统》介绍了使用Maven编译hdfs-over-ftp并部署实现通...

1133

扫码关注云+社区