腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

964

文章

2345703

阅读量

704

订阅数

0898-7.1.7-如何在CDP中为Kafka集成OpenLDAP

kafka kerberos SSL 证书 https 腾讯云测试服务

3.进入CM>Kafka>配置> Inter Broker Protocol，选择SASL_PLAINTEXT

2022-12-14

8350

0894-如何在Kerberos环境下用Ranger给HDFS授权

大数据 kerberos

1.文档编写目的 Apache Ranger通过用户界面管理访问控制，以确保跨Cloudera Data Platform（CDP）组件进行一致的策略管理。使用Ranger，可以为特定资源（HDFS，HBase，Hive等）创建服务，并将访问策略添加到这些服务中。并且可以基于资源和标签来定制策略，以此来管理访问控制。本文档将介绍在Kerberos环境下使用Ranger为HDFS授权。 2.使用Ranger给HDFS授权 2.1.准备测试用户 1.在集群所有节点创建用户user1（如果部署了OpenLDAP则

2022-09-14

1.4K0

0890-7.1.6-如何在CDP集群配置Kerberos高可用

kerberos 大数据 node.js 访问管理

1.文档编写目的本篇文章主要介绍如何在CDP 7.1.6集群中配置Kerberos的高可用。文档概述 1.如何在CDP7集群配置Kerberos高可用 2.验证 3.总结测试环境 1.操作系统Redhat7.2 2.CDP7.1.6 3.使用root用户操作 2.备节点安装Kerberos服务 1.在备节点安装Kerberos服务，暂时不进行相关配置 [root@cdh1 ~]# yum install -y krb5-server openldap-clients krb5-workstation

2022-08-31

9650

你问我答2 - 关于CDH上的一些安全

hive kerberos sql 大数据 node.js

就是假设 Hadoop 使用了 Kerberos 验证，且 Yarn 使用 LinuxContainerExecutor，那么当 NM 以提交 Job 的用户身份启动 Container 时，当前 Container 进程需要进行 Kerberos 验证么？如果需要的话，它是 NM 的 keytab 进行验证呢，还是 Job 提交者 keytab 需要安装到所有 NM host 节点上？ ---- 你这个是个原理问题吧？如果cm启用kerberos，你提交作业其实不用管这些的呢。 ---- 嗯，是想把底

2022-08-26

3590

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用

kafka kerberos 访问管理

1.文档编写目的在CDP集群中启用了Kerberos认证，那么Kafka集群能否与Kerberos认证服务集成呢？本文主要讲述如何通过Cloudera Manager为Kafka集群启用Kerberos认证及客户端配置使用。内容概述 1.修改Kafka配置 2.配置客户端 3.客户端测试Producer和Consumer 测试环境 1.RedHat7.6 2.CM版本7.3.1和CDP版本7.1.4 3.采用root用户 4.Kafka2.4.1 2.修改Kafka配置 1.登录Cloudera Man

2022-08-26

9430

0868-7.1.5-如何配置及使用Cloudera Replication Manager

大数据 hive 专用宿主机 kerberos 数据备份

Cloudera Replication Manager（以下简称为 RM,旧版本的CM中简称为BDR）为数据迁移提供了一个集成式的易用管理解决方案，通过界面化的方式可以非常便捷的定义不同集群之间的数据复制操作，本文主要介绍如何配置及使用RM进行HDFS和Hive 复制

2021-12-07

1.3K1

0867-7.1.6-Hue中Spark Notebook与Livy集成问

kerberos spark hive http

本篇文章主要介绍如何使用解决CDP7.1.6的Hue中的Spark Notebook与Livy无法进行集成的问题。

2021-12-07

8660

0864-7.1.6-如何跨CDP集群通过HBase快照迁移数据

hbase TDSQL MySQL 版大数据 kerberos 数据备份

该文档主要通过使用HBase快照导出历史全量数据并还原到新的HBase集群，然后改造源生的ExportSnapshot类，通过比较变化的文件实现导出增量，并最终实现HBase跨集群的增量备份和还原。

2021-11-02

8070

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志

node.js yarn kerberos windows http

使用DAS查看日之前，需要先知道DAS如何安装，参考《0853-7.1.6-如何在CDP集群上安装DAS》，本篇文章主要介绍如何查看DAS中执行的Hive On Tez作业的日志。

2021-07-28

1.6K0

0854-7.1.6-如何在安全的CDP集群中安装SMM并使用

kafka kerberos windows 腾讯云测试服务

本篇文章主要介绍如何在CDP7.1.6集群中配置SMM（Streams Messaging Manager）服务。它为Kafka集群提供了一个监控仪表板。在CDH6中安装该服务需要部署parcel包和安装节点软件包管理器，而在CDP7中则不需要上述操作，能够直接在CM界面中进行添加服务操作。

2021-07-05

1K0

0853-7.1.6-如何在CDP集群上安装DAS

数据库 sql kerberos postgresql hive

Data Analytics Studio (DAS)是一个能够提供诊断工具和智能化的建议，使得业务数据分析师能易于上手hive的应用程序并提高工作效率。本篇文章主要介绍如何为 CDP集群安装集成 DAS(Data Analytics Studio)。

2021-07-05

1.8K0

0851-7.1.6-导入 Kerberos Account Manager 凭据失败

kerberos 数据加密服务

CDP7.1.6集群在启用Kerberos的操作中，导入KDC Account Manager凭证时报如下异常：

2021-07-05

9840

0849-7.1.6-如何跨集群从CDH到CDP迁移Kudu表

编程算法 hive kerberos 专用宿主机

在之前的文档《如何通过Hive跨集群迁移Kudu表》，通过Hive 进行跨集群迁移Kudu 表是一种效率较低但是非常通用的方式，本文主要讲述如何通过Kudu 自带的Kudu Command Line Tools 进行Kudu 表迁移。

2021-07-05

1.3K0

0845-7.1.6-集群外配置Kerberos环境的Gateway节点

hadoop 专用宿主机 kerberos linux flink

在使用CDH/CDP集群过程中会遇到在集群外的节点使用Hadoop命令访问集群（如：HDFS、HBASE、HIVE、SPARK、YARN）等命令操作，这时又不想将该节点添加到CDH/CDP集群中管理，本篇文章主要介绍如何在集群外节点不通过CM部署一个Gateway节点。

2021-07-05

8950

0841-7.1.6-Aqua Data Studio工具安装及访问安全环境的Hive和Impala

kerberos hive jdbc windows 腾讯云测试服务

Aqua Data Studio是一款完整IDE的数据库开发工具，它提供3种主要功能：数据查询与管理工具。比对数据工具与源控制和文件系统的整合工具。帮助你创建，编辑和执行 SQL 的管理工具脚本编写，以及浏览和修改数据库组织。对所有主要关系的数据库提供一个一致的界面。这准许数据库主管或者开发者从一个应用程序同时地处理多个的任务。本篇文章主要介绍如何安装 Aqua Data Studio及访问安全环境下的Hive和Impala。

2021-07-05

1K0

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala

kerberos hive windows jdbc 腾讯云测试服务

Aqua Data Studio是一款完整IDE的数据库开发工具，它提供3种主要功能：数据查询与管理工具。比对数据工具与源控制和文件系统的整合工具。帮助你创建，编辑和执行 SQL 的管理工具脚本编写，以及浏览和修改数据库组织。对所有主要关系的数据库提供一个一致的界面。这准许数据库主管或者开发者从一个应用程序同时地处理多个的任务。本篇文章主要介绍如何安装 Aqua Data Studio及访问安全环境下的Hive和Impala。

2021-07-05

1K0

0837-使用Knox代理连接开启Kerberos认证的Impala

云数据库 MySQL kerberos http jdbc 数据库

在 ODBC and JDBC Drivers（ODBC 和 JDBC 驱动程序）下，选择适合系统环境的 hive 或 Impala 的ODBC驱动程序下载，注意不是JDBC

2021-04-30

1.4K0

0768-7.0.3-如何在Kerberos环境下用Ranger给Hive授权

腾讯云测试服务大数据 kerberos hive

本篇文章主要介绍如何在CDP DC7.0.3集群中使用Ranger给Hive授权，包括对Hive中的数据库、表、列的授权。

2020-05-24

1.6K0

0751-7.0.3-如何在CDP DC7.0.3中启用Kerberos

kerberos 访问管理大数据专用宿主机

在前面的文章中，Fayson介绍了《0733-7.0.3-如何在Redhat7.6中安装CDP DC7.0.3》，这里我们基于这个环境开始安装Kerberos。Kerberos是一个用于安全认证的第三方协议，并不是Hadoop专用，你可以将其用于其他系统。它采用了传统的共享秘钥方式，实现了在网络环境下不一定保证安全的环境下，Client和Server之间的通信，适用于Client/Server模型，由MIT开发和实现。而使用CDP DC可以较为轻松的实现洁面后的Kerberos集成，本文Fayson主要介绍如何在Readhat7.2的CDP DC7.0.3环境中启用Kerberos。

2020-02-24

1.4K0

0734-5.16.1-集群外客户端跨网段向Kerberos环境的Hadoop集群提交作业（续）

kerberos xml spark mapreduce yarn

在前面的文章《如何在集群外节点跨网段向HDFS写数据》和《外部客户端跨网段访问Hadoop集群方式(续)》中介绍了如何在集群外的客户端节点上访问Hadoop集群，本篇文章在前面文章的基础上基于Kerberos环境的CDH集群介绍，如何在集群外客户端跨网段向Kerberos环境的Hadoop集群提交MapReduce和Spark作业。

2019-12-16

2K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态