Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
933 篇文章
1.4M 次阅读
679 人订阅

全部文章

Fayson

0883-7.1.6-Queue Manager控制单个用户的超配资源

1.文档编写目的 在CDP集群中Yarn的资源池调度策略由CDH版本的FairScheduler转变为CapacityScheduler。在集群的使用过程中,如...

7320
Fayson

0882-7.1.6-如何对HDFS进行节点内(磁盘间)数据平衡

1.文档编写目的 当HDFS的DataNode节点挂载多个磁盘时,往往会出现两种数据不均衡的情况: 1.不同DataNode节点间数据不均衡; 2.挂载数据盘的...

11420
Fayson

0881-7.1.7-如何配置动态队列调度功能

作者:唐辉 1.文档编写目的 动态队列调度功能可以通过在预定义时间重新配置属性值来动态更改系统状态。目前还是技术预览版,生产使用需谨慎考虑 动态队列调度功能仅...

14130
Fayson

Cloudera广州/深圳招售前

有兴趣的直接本文留言或者该微信后台留言 有兴趣的直接本文留言或者该微信后台留言 有兴趣的直接本文留言或者该微信后台留言 Sales Engineer, She...

13120
Fayson

0880-7.1.7-如何在CDP中使用Prometheus&Grafana对Flink任务进行监控和告警

本文作者:BYD信息中心-数据中心管理部-董睿 这里打一个小广告,手动狗头 比亚迪西安研发中心(与深圳协同办公),base西安。招聘大数据平台运维方向工程师,实...

27310
Fayson

2022年5月1日登罗浮山

展开 !function(){"use strict";var e=function(e,a){function t(e,a){var t=e.matc...

12730
Fayson

Apache Impala 4.0技术揭秘与最新进展

展开 !function(){"use strict";var e=function(e,a){function t(e,a){var t=e.matc...

13420
Fayson

0879-7.1.7-如何在CDP安装NVIDIA Tesla T4并使用RAPIDS加速

本文作者:BYD信息中心-数据中心管理部-董睿 进入正文之前先打一个小广告,手动狗头 比亚迪西安研发中心(与深圳协同办公),base西安,招聘大数据平台运维、架...

11120
Fayson

0878-1.6.2-如何在CDP7.1.7中安装SSB

1.文档编写目的 SQL Stream Builder(SSB)是Cloudera提供的基于Flink-SQL的实时流计算Web开发平台,它提供了一个交互式的F...

22540
Fayson

0877-1.6.2-SQL Stream Builder(SSB)概述

1.什么是SQL Stream Builder Cloudera Streaming Analytics(CSA)提供了一个易于使用的交互式SQL Stream...

13720
Fayson

0876-7.1.7-如何在CDP中部署Flink1.14

1.文档编写目的 本篇文章主要介绍如何在CDP 7.1.7集群中使用Parcel的方式安装Flink1.14。 测试环境 1.操作系统CentOS7.9 2....

36910
Fayson

0875-7.1.7-如何在CentOS7.9中安装CDP Base

1.文档编写目的 本文档Fayson主要描述如何在CentOS7.9安装CDP Base7.1.7。CDP Base7与CDH5/6的安装步骤一致,主要包括以下...

33710
Fayson

0874-7.1.7-如何在CDP集群为Spark3集成Iceberg

1.文档编写目的 Iceberg是一种开放的数据湖表格式,您可以借助Iceberg快速地在HDFS上构建自己的数据湖存储服务,并借助开源大数据生态的Spark、...

23940
Fayson

0873-7.1.7-如何在CDP集群中安装Spark3

1.文档编写目的 在早些时间Cloudera已正式的发布CDS3《0814-基于CDP7.1.3的Spark3.0正式发布》。在CDP私有云基础上,Spark3...

38540
Fayson

0872-7.1.4-如何启用CGroup限制YARN CPU使用率

1.文档编写目的 首先说明什么场景下适合使用CGroup,为什么会在集群YARN 中对CPU 进行Vcore数超配的情况下同样一个作业,同样的资源参数,有时候处...

29820
Fayson

0871-6.3.2-如何基于CDH6环境编译Hudi-0.9.0并使用

1.文档编写目的 Apache Hudi是一个Data Lakes的开源方案,是Hadoop Updates and Incrementals的简写,它是由Ub...

68730
Fayson

0870-CDP公有云发布Iceberg技术预览版

在过去的十年中,我们的客户成功部署的大规模数据集群已成为推动需求的大数据飞轮,它可以引入更多的数据,应用更复杂的分析,并成就了从业务分析师到数据科学家的许多新数...

19040
Fayson

0869-7.1.7-如何在CDP中使用Hive Bulkload批量导入数据到HBase

1.文档编写目的 在遇到将Hive中的数据同步到HBase时,一般都是通过在Hive中创建映射HBase的表,然后通过insert的方式来实现,在数据量小的时候...

25510
Fayson

0868-7.1.5-如何配置及使用Cloudera Replication Manager

Cloudera Replication Manager(以下简称为 RM,旧版本的CM中简称为BDR)为数据迁移提供了一个集成式的易用管理解决方案,通过界面化...

34720
Fayson

0867-7.1.6-Hue中Spark Notebook与Livy集成问

本篇文章主要介绍如何使用解决CDP7.1.6的Hue中的Spark Notebook与Livy无法进行集成的问题。

17720

扫码关注腾讯云开发者

领取腾讯云代金券