腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

970

文章

2354880

阅读量

704

订阅数

0897-7.1.7-CDP中如何通过Ranger为UDF授权

jar java 云推荐引擎 hive 大数据

1.文档编写目的本片文档主要讲述了在Ranger中对Hive的UDF函数进行授权的方式。分别测试了对HDFS上和本地的UDF的授权。测试环境 CDP7.1.7，集群启用了Kerberos 使用一个普通用户liuyq测试，该用户有udf_test库的权限 2.HDFS上的UDF JAR授权 2.1.准备工作 1.将UDF的 jar包上传至HDFS的/user/hive/udf目录下，用于测试HDFS上的UDF授权 hdfs dfs -mkdir /user/hive/udfhdfs dfs -put

2022-10-10

1.3K0

0895-Cloudera Manager的工作原理

大数据 hadoop

1.Cloudera Manager词汇下图说明了Cloudera Manager的基本名词和关系：一个Deployment代表了全部，包括Cluster。Cluster是一些运行相同版本CDH的Host的集合，不同的Host又会划给不同的Rack。Service是特定系统的实例，跨越了许多Role，每个Role都会被分配给一个Host。角色配置组是一次配置多个角色的一种方式，这也是常见的情况。 Configuration被附加到多个上下文，并且可以酌情级联。例如存储DataNode日志文件的路径通常

2022-09-15

1.2K0

0894-如何在Kerberos环境下用Ranger给HDFS授权

大数据 kerberos

1.文档编写目的 Apache Ranger通过用户界面管理访问控制，以确保跨Cloudera Data Platform（CDP）组件进行一致的策略管理。使用Ranger，可以为特定资源（HDFS，HBase，Hive等）创建服务，并将访问策略添加到这些服务中。并且可以基于资源和标签来定制策略，以此来管理访问控制。本文档将介绍在Kerberos环境下使用Ranger为HDFS授权。 2.使用Ranger给HDFS授权 2.1.准备测试用户 1.在集群所有节点创建用户user1（如果部署了OpenLDAP则

2022-09-14

1.4K0

0891-CDP Private Cloud Base 7.1.8正式GA

hive 大数据 kafka hbase api

八月再见，九月你好，今天是九月一日，新学年开始，Cloudera正式发布CDP Base 7.1.8和Cloudera Manager 7.7.1。这个版本引入了诸多新功能，比如通过EC提升Ozone的存储效率，Cloudera Manager的HA，多NameNode支持，全面支持Impala4.0，Hive性能提升，HDFS/Schema Registry血缘功能的增强，改进Ranger RMS，以及实时平台的全面增强。 1.平台支持增强 1.新的操作系统支持 CDP Private Cloud Ba

2022-09-02

9411

0890-7.1.6-如何在CDP集群配置Kerberos高可用

kerberos 大数据 node.js 访问管理

1.文档编写目的本篇文章主要介绍如何在CDP 7.1.6集群中配置Kerberos的高可用。文档概述 1.如何在CDP7集群配置Kerberos高可用 2.验证 3.总结测试环境 1.操作系统Redhat7.2 2.CDP7.1.6 3.使用root用户操作 2.备节点安装Kerberos服务 1.在备节点安装Kerberos服务，暂时不进行相关配置 [root@cdh1 ~]# yum install -y krb5-server openldap-clients krb5-workstation

2022-08-31

9780

0888-7.1.6-如何在集群外安装多集群Gateway支持

spark hadoop 专用宿主机 hive 大数据

1.文档编写目的在使用CDH/CDP集群过程中会遇到在集群外的节点使用Hadoop命令访问集群（如：HDFS、HBASE、HIVE、SPARK、YARN）等命令操作。但是有特殊需求： 1.不想将这个节点加入到CDH/CDP集群中管理，只用于实现CDH/CDP集群的访问。 2.支持多个不同版本的C6/CDP集群之间切换 3.支持多个用户同时访问不同集群，且环境变量互不影响本篇文章主要介绍满足以上条件的一个客户端节点安装。测试环境 1.集群1是CM版本6.3.4、CDH版本6.3.4 2.集群2 是Clo

2022-08-26

8580

你问我答3 - 关于Hive CLI与Beeline

hive sql 大数据 node.js 腾讯云测试服务

请教一下，这个是cdp测试过程中，我这边想把hive命令默认client改为原来的hive cli，修改了use_beeline_for_hive_cli为false后,命令输入hive报了java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning,我尝试过将tez的jar包复制到hive 的lib目录下和修改hive-site.xml中的hive.server2.active.passive.ha.enable为fals

2022-08-26

1.2K0

你问我答2 - 关于CDH上的一些安全

hive kerberos sql 大数据 node.js

就是假设 Hadoop 使用了 Kerberos 验证，且 Yarn 使用 LinuxContainerExecutor，那么当 NM 以提交 Job 的用户身份启动 Container 时，当前 Container 进程需要进行 Kerberos 验证么？如果需要的话，它是 NM 的 keytab 进行验证呢，还是 Job 提交者 keytab 需要安装到所有 NM host 节点上？ ---- 你这个是个原理问题吧？如果cm启用kerberos，你提交作业其实不用管这些的呢。 ---- 嗯，是想把底

2022-08-26

3640

你问我答1 - HDFS数据的写入原理

node.js hadoop 大数据编程算法

我们在集群中配置了hdfs异构存储策略,配置如下: dfs.datanode.data.dir:/data02/dfs/dn,/data03/dfs/dn,[ARCHIVE]/mnt/nfs01/dfs/dn dfs.namenode.replication.min:1 dfs.replication:2 然后做了如下测试: hdfs dfs -mkdir /user/xxx/warm hdfs storagepolicies -setStoragePolicy -path /user/xxx/warm -

2022-08-26

7110

0882-7.1.6-如何对HDFS进行节点内(磁盘间)数据平衡

大数据 node.js

1.文档编写目的当HDFS的DataNode节点挂载多个磁盘时，往往会出现两种数据不均衡的情况： 1.不同DataNode节点间数据不均衡； 2.挂载数据盘的磁盘间数据不均衡。特别是这种情况：当DataNode原来是挂载了几个数据盘，当磁盘占用率很高之后，再挂载新的数据盘。由于Hadoop 2.x 版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下，挂载新的数据盘就失去了扩容HDFS数据盘的意义。如果想要解决节点内多块磁盘数据不均衡的现象，就要

2022-07-19

1.5K0

0880-7.1.7-如何在CDP中使用Prometheus&Grafana对Flink任务进行监控和告警

flink 大数据 jar 开源 jenkins

本文作者：BYD信息中心-数据中心管理部-董睿这里打一个小广告，手动狗头比亚迪西安研发中心（与深圳协同办公），base西安。招聘大数据平台运维方向工程师，实时计算方向工程师，感兴趣的小伙伴请投递简历至dong.rui@byd.com 1.文档编写目的 Prometheus 是一款基于时序数据库的开源监控告警系统，Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。Grafana是一款采用 Go语言编写的开源应用，是一个跨平台的开源

2022-05-09

1.6K0

0878-1.6.2-如何在CDP7.1.7中安装SSB

postgresql flink 大数据 kafka hive

1.文档编写目的 SQL Stream Builder(SSB)是Cloudera提供的基于Flink-SQL的实时流计算Web开发平台，它提供了一个交互式的Flink SQL编辑器，让用户可以方便的使用SQL访问一个source比如Kafka中的数据写入到一个sink比如Hive中，具体可以参考Fayson的上一篇文章《0877-1.6.2-SQL Stream Builder(SSB)概述》。本文主要介绍如何在CDP中安装SSB，SSB与Apache Flink同属于Cloudera Streaming

2022-04-18

1.5K0

0877-1.6.2-SQL Stream Builder(SSB)概述

云数据库 SQL Server flink 大数据 postgresql sql

1.什么是SQL Stream Builder Cloudera Streaming Analytics(CSA)提供了一个易于使用的交互式SQL Stream Builder(SSB)作为服务，用于通过 SQL创建对数据流的查询。 SQL Stream Builder (SSB)是一个功能全面的交互式UI工具，可以使用SQL创建有状态的流处理作业。通过使用 SQL，您可以简单轻松地声明过滤、聚合、路由和以其他方式改变数据流的表达式。SSB 是一个作业管理接口，可用于在流上编写和运行 SQL，以及为结果创

2022-04-15

9570

0876-7.1.7-如何在CDP中部署Flink1.14

flink 大数据 parcel

1.文档编写目的本篇文章主要介绍如何在CDP 7.1.7集群中使用Parcel的方式安装Flink1.14。测试环境 1.操作系统CentOS7.9 2.CDP7.1.7 3.使用root用户操作 2.安装Flink 1.准备好Flink的安装包，从以下地址下载 csd文件 https://archive.cloudera.com/p/csa/1.6.2.0/csd/FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538.jar Parcel相关文件 https

2022-04-15

1.6K1

0871-6.3.2-如何基于CDH6环境编译Hudi-0.9.0并使用

打包 spark 专用宿主机 json 大数据

1.文档编写目的 Apache Hudi是一个Data Lakes的开源方案，是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。Hudi 是一个丰富的平台，用于构建具有增量数据管道的流式数据湖，具有如下基本特性/能力： Hudi能够摄入（Ingest）和管理（Manage）基于HDFS之上的大型分析数据集，主要目的是高效的减少入库延时。 Hudi基于Spark来对HDFS上的数据进行更新、插入、删除等。 Hudi在HDFS数据集上

2022-03-21

2.7K0

0868-7.1.5-如何配置及使用Cloudera Replication Manager

大数据 hive 专用宿主机 kerberos 数据备份

Cloudera Replication Manager（以下简称为 RM,旧版本的CM中简称为BDR）为数据迁移提供了一个集成式的易用管理解决方案，通过界面化的方式可以非常便捷的定义不同集群之间的数据复制操作，本文主要介绍如何配置及使用RM进行HDFS和Hive 复制

2021-12-07

1.3K1

0865-5.16.2-如何搭建DolphinScheduler集群并与安全的CDH集成

数据库云数据库 SQL Server sql 大数据

Apache DolphinScheduler（以下简称：DS）是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。本篇文档主要介绍如何搭建DolphinScheduler集群并与安全的CDH集群集成。

2021-11-02

2.5K0

0864-7.1.6-如何跨CDP集群通过HBase快照迁移数据

hbase TDSQL MySQL 版大数据 kerberos 数据备份

该文档主要通过使用HBase快照导出历史全量数据并还原到新的HBase集群，然后改造源生的ExportSnapshot类，通过比较变化的文件实现导出增量，并最终实现HBase跨集群的增量备份和还原。

2021-11-02

8110

0861-7.1.6-如何对Hive表小文件进行合并

大数据 hive node.js

HDFS不适合大量小文件的存储，因namenode将文件系统的元数据存放在内存中，因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块占用150Bytes。如果存放的文件数目过多的话会占用很大的内存甚至撑爆内存。HDFS适用于高吞吐量，而不适合低时间延迟的访问。如果同时存入大量的小文件会花费很长的时间。本篇文章主要介绍在CDP7.1.6集群中如何对Hive表小文件进行合并。

2021-08-23

1.8K0

0859-7.1.6-如何对Ranger审计日志进行调优

大数据 lucene/solr

什么是Ranger Audit？Ranger 审计功能，审计功能模块可以帮助我们更好的管理集群组件，例如 HDFS、HBase、Hive 等数据资源的访问，更快的定位权限导致的应用问题。并且使用 Ranger 控制权限的同时也可以很好地监控、查询用户的历史操作，做到有证可查，有理可依。

2021-07-28

1.9K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态