腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

964

文章

2345719

阅读量

704

订阅数

0893-7.1.6-如何为CDP集群配置LDAP高可用并集成测试

hive 访问管理腾讯云测试服务

1.文档编写目的本篇文章主要介绍如何在CDP 7.1.6集群中配置LDAP的高可用。文档概述 1.如何在CDP7集群配置LDAP高可用 2.验证LDAP的高可用 3.总结测试环境 1.操作系统Redhat7.2 2.CDP7.1.6 3.使用root用户操作 2.查看主备节点的DN信息 1.主节点DN信息 [root@cdh1 ~]# ldapsearch -b "dc=macro,dc=com" -D "cn=Manager,dc=macro,dc=com" -W |grep dn 2.备节点D

2022-09-14

1.1K0

0890-7.1.6-如何在CDP集群配置Kerberos高可用

kerberos 大数据 node.js 访问管理

1.文档编写目的本篇文章主要介绍如何在CDP 7.1.6集群中配置Kerberos的高可用。文档概述 1.如何在CDP7集群配置Kerberos高可用 2.验证 3.总结测试环境 1.操作系统Redhat7.2 2.CDP7.1.6 3.使用root用户操作 2.备节点安装Kerberos服务 1.在备节点安装Kerberos服务，暂时不进行相关配置 [root@cdh1 ~]# yum install -y krb5-server openldap-clients krb5-workstation

2022-08-31

9650

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用

kafka kerberos 访问管理

1.文档编写目的在CDP集群中启用了Kerberos认证，那么Kafka集群能否与Kerberos认证服务集成呢？本文主要讲述如何通过Cloudera Manager为Kafka集群启用Kerberos认证及客户端配置使用。内容概述 1.修改Kafka配置 2.配置客户端 3.客户端测试Producer和Consumer 测试环境 1.RedHat7.6 2.CM版本7.3.1和CDP版本7.1.4 3.采用root用户 4.Kafka2.4.1 2.修改Kafka配置 1.登录Cloudera Man

2022-08-26

9430

0784-CDP安全管理工具介绍

apache 网站 linux 访问管理数据库

本文档描述如何使用多种安全管理工具来保护CDP环境。重点介绍安全管理工具与CDP环境之间的集成点，但不会探讨这些工具的核心功能。

2020-06-19

1.8K0

0765-7.0.3-如何在Kerberos环境下用Ranger对Hive中的列使用自定义UDF脱敏

访问管理 hive

在前面的文章中介绍了用Ranger对Hive中的行进行过滤以及针对列进行脱敏，在生产环境中有时候会有脱敏条件无法满足的时候，那么就需要使用自定义的UDF来进行脱敏，本文档介绍如何在Ranger中配置使用自定义的UDF进行Hive的列脱敏。

2020-04-27

4.8K0

0760-7.0.3-如何使用Cloudera Manager设置使用YARN队列的ACL

访问管理 yarn node.js

YARN的队列默认支持ACL的功能，即可以控制哪些用户/组可以提交任务到指定队列，也可以控制哪些用户/组可以管理该队列的作业（删除作业）。通过YARN Queue Manager UI可以界面化配置YARN的资源队列，队列权重，队列资源，以及队列的ACL等。本文主要讲述如何在CDP DC 7.0.3集群上使用YARN Queue Manager UI来控制队列的ACL。

2020-04-21

1.8K0

0761-7.0.3-如何使用YARN Queue Manager UI配置集群资源

访问管理编程算法 yarn node.js 网络安全

在CDP DC上，YARN资源的调度程序默认为Capacity Scheduler。我们可以通过YARN Queue Manager UI来界面化配置YARN的资源队列，队列权重，队列资源，以及队列的ACL等。本文主要讲述如何在CDP DC 7.0.3集群上使用YARN Queue Manager UI来控制队列的资源分配和队列的提交策略。

2020-04-21

2.6K0

0751-7.0.3-如何在CDP DC7.0.3中启用Kerberos

kerberos 访问管理大数据专用宿主机

在前面的文章中，Fayson介绍了《0733-7.0.3-如何在Redhat7.6中安装CDP DC7.0.3》，这里我们基于这个环境开始安装Kerberos。Kerberos是一个用于安全认证的第三方协议，并不是Hadoop专用，你可以将其用于其他系统。它采用了传统的共享秘钥方式，实现了在网络环境下不一定保证安全的环境下，Client和Server之间的通信，适用于Client/Server模型，由MIT开发和实现。而使用CDP DC可以较为轻松的实现洁面后的Kerberos集成，本文Fayson主要介绍如何在Readhat7.2的CDP DC7.0.3环境中启用Kerberos。

2020-02-24

1.4K0

0550-6.1-如何将普通用户增加到HDFS的超级用户组supergroup

linux kerberos 大数据访问管理 github

对于HDFS服务，hdfs默认是超级管理员用户，它的权限最大，可以说它就相当于Linux的root。hdfs用户默认对所有目录有所有权限，同时可以执行HDFS相关的管理员命令比如让HDFS进入安全模式。但我们有时会碰到需要配置另一个超级用户的情况，本文Fayson主要介绍如何将普通用户设置为HDFS的超级用户。

2019-11-28

2.5K0

0558-01-如何在Redhat7上安装FreeIPA

dns hadoop 访问管理 kerberos

FreeIPA是一个Linux环境下开源的身份管理系统，它提供了用户管理和身份验证，就跟Fayson前面介绍的Microsoft Active Directory或OpenLDAP。FreeIPA集成了Directory Server、Kerberos、PKI、DNS、Certmonger、NTP Server、WebUI、Trusts、Client等组件，也就是说在Hadoop集群要统一用户管理和安全认证一个它就足够了。本篇文章Fayson主要介绍如何在Redhat7上安装FreeIPA。

2019-11-28

1.1K0

0715-6.2.0-用户有CREATE权限建表后无HDFS文件的ACL访问权限异常分析

大数据云推荐引擎 hive 访问管理 github

在C6集群中使用hive管理员创建一个测试库acltest，将该库的CREATE权限赋予ldapff组。ldapff用户在该库下创建的表，在命令行使用hadoop命令没有权限访问该表的hdfs目录，提示没有权限访问。

2019-10-23

1.2K0

0703-6.2.0-使用Sentry为Solr进行赋权

kerberos lucene/solr 访问管理 xml 文件存储

在CDH中，Sentry服务是一个基于角色授权的管理组件，通常我们将Sentry用来管理Hive、Impala等组件，但是同样的，Sentry也可以为Solr提供基于角色的细粒度授权，在启用Sentry后，可以对各种操作进行权限上的限制，无论对数据的访问是来自命令行、浏览器还是Hue，都会基于授予的角色拥有的权限来进行管理和限制。要注意的是，启用Sentry对Solr进行权限控制前需要先启用Kerberos，本文档将介绍如何使用Sentry对Solr进行赋权。

2019-09-25

8810

0698-6.2.0-Navigator审计日志查看对应用户的操作

访问管理 hive 大数据 kerberos api

CDH集群中有数据管理的组件Cloudera Navigator，本文档主要介绍这个组件的其中一个功能：审计，Cloudera Navigator审计可以从选定的集群服务收集一些事件，用户可以在控制台查看这些审计的日志，可以使用可配置的过滤器进行搜索，快速得到相关的信息，并且可以将这些信息导出为CSV或JSON文件。下面会对审计功能的使用进行一些测试。

2019-09-16

1.2K0

0695-5.10.2-如何将CM的外部PostgreSQL数据库迁移至MySQL服务

数据库 postgresql 云数据库 SQL Server sql 访问管理

在前面的文章《如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL，因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。

2019-09-03

1.5K0

0648-6.2.0-配置Senty服务

hive 访问管理大数据

登录Cloudera Manager的用户的最小角色要求：Configurator或者Cluster Administrator或者Full Administrator。

2019-06-03

1.2K0

0628-6.2-如何在CDH6.2中启用Kerberos

kerberos 专用宿主机访问管理

在前面的文章中，Fayson介绍了《0610-6.2.0-如何在Redhat7.4安装CDH6.2》，这里我们基于这个环境开始安装Kerberos。Kerberos是一个用于安全认证第三方协议，并不是Hadoop专用，你也可以将其用于其他系统，它采用了传统的共享密钥的方式，实现了在网络环境不一定保证安全的环境下，client和server之间的通信，适用于client/server模型，由MIT开发和实现。而使用Cloudera Manager可以较为轻松的实现界面化的Kerberos集成，本文Fayson主要介绍如何在Redhat7.4的CDH6.2环境中启用Kerberos。

2019-05-16

1.7K0

0568-普通用户在Sentry中使用show roles 命令查看失败异常分析

hive 访问管理

Sentry的介绍和使用Fayson前面的文章了介绍了很多，本篇文章主要介绍集群启用Sentry后普通用户用户执行show roles 命令无法正常查看的分析以及解决办法。

2019-04-29

1K0

0564-6.1.0-HDFS超级用户(Superuser)和HDFS管理员(Administrator)的区别

大数据访问管理 xml hadoop access

在前面的文章《0550-6.1-如何将普通用户增加到HDFS的超级用户组supergroup》中Fayson介绍过如何将普通用户设置为HDFS的超级用户，从而可以让普通用户也可以执行如dfsadmin相关的功能，但对于HDFS服务来说还有一个管理员用户(dfs.cluster.administrators)，无论是超级用户还是管理员用户默认都是hdfs，本文Fayson主要介绍如何将普通用户设置为HDFS的管理员用户。

2019-04-29

5.1K0

0592-5.16.1-如何配置Kerberos高可用

kerberos 专用宿主机访问管理

对于一个启用了Kerberos的正式生产系统，还需要考虑KDC的高可用。而Kerberos服务是支持配置为主备模式的，数据同步是通过kprop服务将主节点的数据同步到备节点。本文主要讲述如何在CDH5.16.1中配置Kerberos服务的高可用。在前面的文章中Fayson介绍过《如何配置Kerberos服务的高可用》，但无论是CDH还是OS版本到较低，本文也主要是为了更新文档。

2019-04-28

1.5K0

0583-5.16.1-1.4.2-后台脚本无感知为CDSW用户绑定Kerberos账号(密码认证)

kerberos api 访问管理 github hadoop

业务用户在安全环境下使用CDSW服务，为了防止用户的Kerberos的账号和密码泄露问题，需要管理系统统一的为业务用户分发Kerberos账号。本篇文章Fayson主要介绍如何通过CDSW API的方式为不同的业务用户设置Kerberos信息。

2019-04-28

6190

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态