Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
906 篇文章
1M 次阅读
618 人订阅

全部文章

Fayson

0859-7.1.6-如何对Ranger审计日志进行调优

什么是Ranger Audit?Ranger 审计功能 ,审计功能模块可以帮助我们更好的管理集群组件,例如 HDFS、HBase、Hive 等数据资源的访问,...

11230
Fayson

0858-7.1.6-安装YARN Queue Manager服务启动异常分析

在CDP7.1.6的添加组件过程中,添加YARN Queue Manager后,启动服务过程中,提示启动Yarn Queue Manager Store角色失败...

9440
Fayson

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志

使用DAS查看日之前,需要先知道DAS如何安装,参考《0853-7.1.6-如何在CDP集群上安装DAS》,本篇文章主要介绍如何查看DAS中执行的Hive On...

7030
Fayson

0856-7.1.4-如何使用spark-shell操作Kudu表

Kudu从 1.0.0 版本开始通过Data Source API与Spark 集成。kudu-spark使用--packages选项包含依赖项。如果将Spar...

5030
Fayson

0855-1.9.2-CDSW1.9的新功能

作为 CML 中现有引擎的替代品,ML Runtimes 比当前的单体引擎(monolithic Engines)更轻量级。通过指定所需的Editor, Ker...

4220
Fayson

0854-7.1.6-如何在安全的CDP集群中安装SMM并使用

本篇文章主要介绍如何在CDP7.1.6集群中配置SMM(Streams Messaging Manager)服务。它为Kafka集群提供了一个监控仪表板。在CD...

6610
Fayson

0853-7.1.6-如何在CDP集群上安装DAS

Data Analytics Studio (DAS)是一个能够提供诊断工具和智能化的建议,使得业务数据分析师能易于上手hive的应用程序并提高工作效率。本篇文...

10720
Fayson

0851-7.1.6-导入 Kerberos Account Manager 凭据失败

CDP7.1.6集群在启用Kerberos的操作中,导入KDC Account Manager凭证时报如下异常:

8650
Fayson

0852-7.1.4-如何关闭CDP中ranger策略的审计

CDP集群中的ranger在添加新的策略的时候,默认会启用审计。审计可以帮助我们在查询到历史操作的详细信息。但是随着集群任务量的增长,海量的审计信息会占用大量的...

7410
Fayson

0849-7.1.6-如何跨集群从CDH到CDP迁移Kudu表

在之前的文档《如何通过Hive跨集群迁移Kudu表》,通过Hive 进行跨集群迁移Kudu 表是一种效率较低但是非常通用的方式,本文主要讲述如何通过Kudu 自...

11320
Fayson

0850-7.1.4-如何为distcp作业设置application tag

如果需要管理作业生命周期。期望通过作业的application tag来进行定位。本文档就如何设置distcp作业的application tag来进行说明。

10130
Fayson

0847-7.1.4-Hue用户无法查看文件浏览器异常

经过排查,发现用户admin在HDFS上没有创建用户目录,在HDFS上创建用户目录后重新使用admin用户访问文件浏览器恢复正常

9340
Fayson

0848-7.1.4-Kafka Connect启动失败异常

该问题是由产品BUG导致的,在Kafka配置中搜索“plugin.path”,添加插件地址,默认为/opt/cloudera/parcels/CDH/lib/k...

9810
Fayson

0846-7.1.1-如何迁移HDP2.4中的Hive表到CDP7.1.1

随着Hadoop 3.X 版本的发展,Hadoop 2.X 版本即将淘汰。我们当前面临着集群升级的问题,在升级过程中,即使使用迁移升级方式工作量非常大,但毫无疑...

10230
Fayson

0845-7.1.6-集群外配置Kerberos环境的Gateway节点

在使用CDH/CDP集群过程中会遇到在集群外的节点使用Hadoop命令访问集群(如:HDFS、HBASE、HIVE、SPARK、YARN)等命令操作,这时又不想...

7520
Fayson

0844-5.16.2-如何清理hue元数据库里面的历史数据

在hue的使用过程中,由于hue会永久的保存所有数据,并且不会自动的去清理desktop_document, desktop_document2, oozie*...

9630
Fayson

0843-7.1.6-如何在CDP中部署Flink1.12

本篇文章主要介绍如何在CDP 7.1.6集群中使用Parcel的方式安装Flink1.12。

10320
Fayson

0842-7.1.6-如何使用authzmigrator 工具迁移Sentry权限到Ranger

1.CDP 的 CM 节点与 CDH 的元数据库节点没有网络限制,并且CDP 集群中的CM节点可以正常使用 sentry 元数据的用户密码登陆 CDH 的 se...

11220
Fayson

0841-7.1.6-Aqua Data Studio工具安装及访问安全环境的Hive和Impala

Aqua Data Studio是一款完整IDE的数据库开发工具,它提供3种主要功能:数据查询与管理工具。比对数据工具与源控制和文件系统的整合工具。帮助你创建,...

10230
Fayson

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala

Aqua Data Studio是一款完整IDE的数据库开发工具,它提供3种主要功能:数据查询与管理工具。比对数据工具与源控制和文件系统的整合工具。帮助你创建,...

7910

扫码关注云+社区

领取腾讯云代金券