1.文档编写目的 ---- 出于CDH集群安全考虑，在CDH集群中增加了Kerberos认证机制。...通过Linux的Kinit命令可以方便的完成Kerberos的认证，那么在Java开发中如何完成Kerberos的登录认证呢？本篇文章主要讲述如何使用Java连接Kerberos环境的HBase。...已安装且正常运行 2.Maven环境正常 2.环境准备 ---- 1.从CDH集群下载HBase客户端配置 [0svds59itp.jpeg] 2.krb5.conf配置（直接使用CDH集群的Kerberos...; import java.io.IOException; /** * Java访问Kerberos环境的HBase数据库 * @Date 2107-10-25 22:22:58 */ publicclass...代码直接连接到Kerberos环境下的HBase时，则需要将krb5.conf配置加载到程序运行环境中。
客户通常运行无法承担任何停机时间的关键任务应用程序。...复制插件支持从以下源HBase集群进行复制： CDH 5.14 CDH 6.3 HDP 2.6.5 HDP 3.1.5 EMR 5.28 HBase复制 HBase提供了成熟、功能丰富的复制功能已有近十年的历史...建立信任 迄今为止，HBase复制要求所有参与的集群具有相同的安全性定义，换句话说，所有集群必须没有启用kerberos安全性（身份验证配置设置为simple），或者所有集群都必须启用kerberos的安全性...复制插件允许复制 跨多个Kerberos域，无需跨域信任 从安全集群复制到不安全集群，以及 从不安全的集群复制到安全的集群。...要为没有安全配置或使用Kerberos保护的集群从CDP集群建立信任，复制插件使用共享机密实现新的身份验证机制，该共享机密是使用提供的工具创建的，并存储在源集群和目标集群中。
服务主体应在本地MIT KDC和本地Kerberos领域中创建。Cloudera Manager连接到本地MIT KDC，以创建和管理在集群上运行的CDH服务的主体。...必须从本地Kerberos领域到包含要求访问CDH集群的用户主体的中央AD领域建立单向跨领域信任。无需在中央AD领域中创建服务主体，也无需在本地领域中创建用户主体。 ?...所有集群主机均使用krb5.conf来配置中央AD Kerberos领域。 Cloudera Manager连接到Active Directory KDC，以创建和管理在集群上运行的CDH服务的主体。...与Active Directory的身份集成 在平台中启用Kerberos安全性的核心要求是用户在所有集群处理节点上均具有帐户。...Kerberos服务器可以设置为专门供集群使用（例如Local MIT KDC），也可以是组织中其他应用程序使用的分布式Kerberos部署。
服务主体应在本地MIT KDC和本地Kerberos领域中创建。Cloudera Manager连接到本地MIT KDC，以创建和管理在集群上运行的CDH服务的主体。...必须从本地Kerberos领域到包含要求访问CDH集群的用户主体的中央AD领域建立单向跨领域信任。无需在中央AD领域中创建服务主体，也无需在本地领域中创建用户主体。 ?...所有集群主机都使用来配置中央AD Kerberos领域krb5.conf。 Cloudera Manager连接到Active Directory KDC，以创建和管理在集群上运行的CDH服务的主体。...与Active Directory的身份集成 在平台中启用Kerberos安全性的核心要求是用户在所有集群处理节点上均具有帐户。...Kerberos服务器可以设置为专门供集群使用（例如Local MIT KDC），也可以是组织中其他应用程序使用的分布式Kerberos部署。
但对于CDH的生产系统，往往都会部署配置安全多租户，即Kerberos+Sentry，当CDH启用了Kerberos后，对于外部系统比如Kylin对接到CDH，我们就需要考虑安全认证的问题。...本文主要描述如何在启用Kerberos的CDH集群中如何部署及使用Kylin。...1.CDH集群正常运行 2.Hive，HBase服务运行正常 3.安装Kylin服务的节点已经部署Hive Gateway、HBase Gateway角色 2.下载Kylin ---- 社区版kylin...6.在部署kylin的节点上设置定时任务，进行kinit操作，kylin使用kylin用户去放问CDH集群的hive和hbase，所以需要kylin的凭证，通过定时执行以下脚本获取kylin用户的凭证...8.在HBase上授权，允许kylin用户有访问hbase的权限，包括建表的权限 ? 简单测试hbase中kylin用户的权限 ? 9.执行bin/check-env.sh检查kylin运行环境 ?
default_realm：Kerberos应用程序的默认领域，所有的principal都将带有这个领域标志 ticket_lifetime： 表明凭证生效的时限，一般为24小时 renew_lifetime...在主页上，单机集群名称右侧的下拉，停止所有服务。 2. 在主页上，单击 Cloudera Management Service 右侧的下拉，选择停止。 5. 启用 HDFS安全性 1....启用HBASE安全性 1. 点击主页上的HBASE，选择配置 2....修改下面参数 hbase.security.authentication ---> Kerberos hbase.security.authorization ---> true 3....，以使 Hue 能够使用 Cloudera Manager 与安全的 Hadoop 群集一起正常工作，否则集群会持续报致命错误。
简单地说，Kerberos是一种认证机制，通过密钥系统为客户端/服务器应用程序提供强大的认证服务。 Kerberos存在的意义 在Hadoop1.0.0或者CDH3 版本之前，并不存在安全认证一说。...恶意的用户可以轻易的伪装成其他用户来篡改权限，致使权限设置形同虚设，不能够对Hadoop集群起到安全保障。 在Hadoop1.0.0或者CDH3版本后，加入了Kerberos认证机制。...使得集群中的节点就是它们所宣称的，是信赖的。Kerberos可以将认证的密钥在集群部署时事先放到可靠的节点上。集群运行时，集群内的节点使用密钥得到认证。只有被认证过节点才能正常使用。...企图冒充的节点由于没有事先得到的密钥信息，无法与集群内部的节点通信。防止了恶意的使用或篡改Hadoop集群的问题，确保了Hadoop集群的可靠安全。 Kerberos的工作原理 ?...put the SQL back in NoSQL Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。
回顾之前的这篇博文，HBase 默认复制要求两个集群要么根本没有配置安全性，要么都配置了安全性。...这种类型的用户可以从Cloudera Management Console UI轻松创建，然后传播到 COD 集群底层 kerberos 身份验证权限。...COD 集群始终配备 PAM 身份验证，针对 CDP 环境 FreeIPA 安全域。 保护机器用户凭证 此解决方案中的一个关键问题是源集群必须从目标集群的机器用户那里获取凭据。...然而，将数据从当前的“本地”部署迁移到云上的 CDP 集群的能力是必不可少的。...Cloudera Operational Database Replication Plugin在集成安全集群时带来了灵活性，并为此安全集成提供了更好的可维护性，因为它完全在 HBase 级别实现，与kerberos
HadoopRPC支持SASL，以实现安全传输，并且默认设置为Kerberos和DIGEST-MD5，具体取决于通信类型和安全设置。...使用由受信任的公共CA签名的证书可以简化部署，因为默认的Java客户端已经信任大多数公共CA。...从受信任的著名（公共）CA（例如Symantec和Comodo）中获取证书 内部CA签署的证书 如果您的组织有自己的证书，请从组织的内部CA获取证书。...CDH组件的TLS / SSL加密 Cloudera建议在集群上启用SSL之类的加密之前，先使用Kerberos身份验证保护集群。如果为尚未配置Kerberos身份验证的集群启用SSL，将显示警告。...当客户端连接到SSL服务器守护程序时，服务器会将在启动时加载的证书传输到客户端，然后客户端使用其信任库来验证服务器的证书。 有关为CDH服务设置SSL / TLS的信息，请参阅适用的组件指南。
，并提供可扩展点，以连接到不同的技术和用户社区。...您甚至可以直接从Apache CouchDB中提供Web应用程序。您可以使用Apache CouchDB的增量复制有效地分发您的数据或应用程序。...也很好地补充了kerberos安全集群。...加上Kerberos安全Hadoop集群的正确网络隔离， Knox Gateway为企业提供以下解决方案： 与企业身份管理解决方案完美集成保护Hadoop集群部署的详细信息（主机和端口对最终用户隐藏）简化客户端与之交互所需的服务数量...32 Apache Metron Apache Metron提供可扩展的高级安全分析框架，该框架使用从Cisco OpenSOC项目演变而来的Hadoop社区构建。
此处显示的示例将以粗体突出显示与身份验证相关的属性，以将其与其他必需的安全属性区分开，如下例所示。假定已为Apache Kafka集群启用了TLS，并且应该为每个安全集群启用TLS。...所有概念和配置也适用于其他应用程序。 Kerberos身份验证 迄今为止，Kerberos是我们在该领域中用于保护Kafka集群安全的最常用选项。...JAAS配置 但是，以上属性未向客户端提供其通过Kafka集群进行身份验证所需的凭据。我们需要更多信息。 使用Kerberos时，我们可以通过两种方式将凭据提供给客户端应用程序。...以有效的Kerberos票证的形式存储在票证缓存中，或者作为keytab文件，应用程序可以使用该文件来获取Kerberos票证 Kafka客户端中Kerberos凭证的处理由Java身份验证和授权服务（...身份验证并直接连接到代理（不使用负载均衡器）从主题读取的示例： # Complete configuration file for Kerberos auth using the ticket cache
}/hbase-${user.name} 写到系统的/tmp目录 hbase.rootdir ● HBase集群中所有RegionServer共享目录，用来持久化HBase的数据，一般设置的是hdfs...Client端与zk发送心跳的时间间隔 ● 线上配置：6000（6s） ● 默认值：6000 hbase.security.authentication ● HBase集群安全认证机制，目前的版本只支持...kerberos安全认证。...● 线上配置：kerberos ● 默认值：空 hbase.security.authorization ● HBase是否开启安全授权机制 ● 线上配置： true ● 默认值： false...hbase.regionserver.kerberos.principal ● regionserver的kerberos认证的主体名称（由三部分组成：服务或用户名称、实例名称以及域名） ●
一、Kerberos 介绍 01 Kerberos 是什么 根据百度词条释义，Kerberos 是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。...Kerberos 旨在通过密钥加密技术为客户端 / 服务器应用程序提供身份验证，主要用在域环境下的身份验证。...通过提供安全的身份验证机制，Kerberos 为最终用户和管理员提供了明显的好处。...security.Kerberos.login.use-ticket-cache: 是否从你的 Kerberos ticket 缓存中读取 security.Kerberos.login.keytab...● 开发 hadoop 生态中的数据源组件 一般而言，Hadoop 生态中的数据源组件如：HDFS、HBase、Hive 等都是用 ugi（UserGroupInformation） 进行 Kerberos
Ranger对不同的Hadoop组件（例如YARN、HBase、Hive等）具有不同的授权功能。...KMS是具有客户端和服务器组件的Java Web应用程序，它们使用HTTP和REST API相互通信。...主要区别在于安全模式要求对每个用户和服务进行身份验证。Kerberos是Hadoop安全模式下身份验证的基础。数据作为身份验证过程的一部分进行加密。...服务级别授权是一项单独的功能，用于验证尝试连接到特定Hadoop服务的客户端是否有权访问该服务。像《 HDFS权限指南》一样，服务级别授权支持个人和组权限。...使用Hadoop解决大数据安全性问题 从定义上讲，大数据是大数据，但一种万能的安全方法是不合适的。
本篇文章Fayson主要介绍在Kerberos的CDH集群中使用Flume采集Kafka数据写入HBase。...和Kafka已安装且已启用Kerberos 3.集群已启用Kerberos 2.环境准备 ---- 1.编写向Kafka生成数据的ReadUserInfoFileToKafka.java代码，具体内容可以在...） 将准备好的fayson.keytab和jaas.conf文件拷贝至集群所有节点的/opt/cloudera/parcels/flume-kerberos目录下 ?...注：这里flume-kerberos及目录下的文件可以不用集群所有节点均存在，至少要保证Flume服务所在节点存在，目录下的文件权限需要调整否则会出现一些莫名其妙的异常。...5.总结 ---- 1.由于集群启用了Kerberos，向Kafka生成消息的应用脚本需要做相应的修改，在代码中增加Kerberos认证，具体示例代码这里Fayson未贴出来可以通过文章末尾的GitHub
如果您尝试使用Hive以外的用户从Beeline登录到Kerberized集群，则可以看到此信息。...HBase身份验证令牌，通过keytab或票证高速缓存登录名绕过Kerberos身份验证方法的可更新用法，并将其生存期限制为“ hbase.auth.token.max.lifetime”价值。...适用于 CDH 安全 Kerberos 教程 症状部分按编号列出了问题，并在此处用相同的编号列出了相应的解决方案。...运行 Cloudera Manager主机检查器 以收集有关主机网络和DNS的信息 e．从Cloudera Manager中，导航到 管理>安全性 ，然后单击 导入Kerberos帐户管理器凭据以将管理凭据重新导入到...必须在CDH5.4.5之前的HDFS for BDR和Hive复制的安全阀中通过安全阀设置为*，即使在更高版本上也是如此。
RM 可以简化安全认证，特别是针对两个集群的 kerberos 域名不一致，或者 TLS 认证不一致的情况。...CDP私有云基础 高密度文件系统Hive 外部表 Kerberos支持矩阵 在集群上使用 Kerberos 身份验证时，Replication Manager 支持以下复制方案： 安全源到安全目的地...不安全的来源到不安全的目的地。 不安全的来源到安全的目的地。此场景必须满足以下要求： 此复制方案需要额外的配置。 当目标集群有多个源集群时，所有源集群必须是安全的或不安全的。...配置源集群和目标集群后，目标 Cloudera Manager 在对等期间连接到端口 7180/7183 上的源 Cloudera Manager。...保存计划后点击运行 在CM 的YARN 应用程序中可以看到生成了一个MR作业，如官网解释其本质是一个distcp 作业，完成后的CDP集群 在复制任务右侧提供了一些功能，例如查看历史记录、修改配置
主要是HBase集群是独立部署的，与Kylin部署的HDFS不是同一个，因此踩了许多坑，这里将遇到的一些问题记录下来，希望能帮助到大家。...Hadoop版本：2.7.3 Hive版本：2.1.1 HBase版本：1.2.6 Kylin版本：2.4.0和2.6.1均有 由于Kylin和HBase在两个不同的HDFS集群，因此为了让Kylin服务可以访问...HBase，我们要做如下配置： 在Hadoop的hdfs-sitem.xml中配置HBase所在的HDFS集群的dfs.nameservices和对应的namenode地址，如下所示： <property...=hdfs://hbase-cluster/ 问题一 带kerberos的HDFS访问不带kerberos的HDFS 1由于我们的Kylin所以来的HDFS是线上的，所以一般都部署了kerberos作为安全认证...经过排查发现，这里的HDFS路径指的是HBase集群所在的路径，当前用户无权限做WRITE，而不是指Kylin集群所在的HDFS集群。
java.io.tmpdir/hbase−java.io.tmpdir/hbase−{user.name}； hbase.rootdir：hbase持久化的目录，被所有regionserver共享，默认...的maxSessionTimeout，总的来说就是regionserver与zk的关键参数，如果连接超时，master会重新的balance，regionserver也会被从集群名单中清除，默认是90000...：zk的配置，snapshot存放的目录，默认是${hbase.tmp.dir}/zookeeper； hbase.zookeeper.property.clientPort：zk的配置，client连...，无默认值； hbase.master.kerberos.principal：运行HMaster进程时需要kerberos的principal name，这个配置就是这个name的值，形如：hbase/...hbase.regionserver.kerberos.principal：运行HRegionServer进程时需要kerberos的principal name，这个配置就是这个name的值，形如：hbase
01 — 文档编写目的 Cloudera从CM6.3版本开始，引入了Red Hat IdM来做整个集群的认证，Red Hat IdM对应的软件为FreeIPA，在本文中描述如何使用FreeIPA来做CDH...集群的认证。...5）进入FreeIPA的UI查看新加的机器： ? 03 — CDP DC集群启动安全 1) 登陆CM，进入Administration->Security，准备启动安全 ?...我们前面已经配置了其他机器的kerberos客户端，这里不需要配置。端口保存默认。 ? 9) 点击“继续”启用Kerberos ? 10) 集群重启完成，点击“继续” ?...11) 点击“继续”，完成集群安全设置工作。 ? ? ? 04 — Kerberos验证 4.1.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
