此消息表明一个操作尝试要求以Kerberos的user/host@realm身份认证的操作，但票据cache中没有用于user/host@realm的票据。
对于任何计算环境来讲，身份验证是最基本的安全要求。简单来说，用户和服务必须先向系统证明其身份（身份验证），然后才能在授权范围内使用系统功能。身份验证和授权携手并进，以保护系统资源。授权有多种方式处理，从访问控制列表（ACL）到HDFS扩展的ACL，再到使用Ranger的基于角色的访问控制（RBAC）。
身份验证是任何计算环境的基本安全要求。简单来说，用户和服务必须先向系统证明其身份（身份验证），然后才能在授权范围内使用系统功能。身份验证和授权携手并进，以保护系统资源。授权使用多种方式处理，从访问控制列表（ACL）到HDFS扩展ACL，再到使用Ranger的基于角色的访问控制（RBAC）。
Apache Knox网关（“ Knox”）是一种在不降低Hadoop安全性的情况下将Apache™Hadoop®服务的覆盖范围扩展到Hadoop群集之外的用户的系统。Knox还为访问群集数据和执行作业的用户简化了Hadoop安全性。Knox网关被设计为反向代理。
在上一篇文章《配置客户端以安全连接到Kafka集群- Kerberos》中，我们讨论了Kerberos身份验证，并说明了如何配置Kafka客户端以使用Kerberos凭据进行身份验证。在本文中，我们将研究如何配置Kafka客户端以使用LDAP（而不是Kerberos）进行身份验证。
在之前的这篇博文《Cloudera 复制插件为Hbase启用平台复制》中，我们提供了Cloudera Replication Plugin的高级概述，解释了它如何通过很少的配置实现跨平台复制。在这篇文章中，我们将介绍如何在 CDP 集群中应用此插件，并解释该插件如何在不共享相互身份验证信任的系统之间启用强身份验证。
这是有关Apache Kafka安全性的简短博客文章系列的第一部分。在本文中，我们将说明如何配置客户端以使用不同的身份验证机制对集群进行身份验证。
Kerberos，在古希腊神话故事中，指的是一只三头犬守护在地狱之门外，禁止任何人类闯入地狱之中。
作为管理员，您需要了解运行 Hive 查询的 Hive 默认授权是不安全的，以及您需要做什么来保护您的数据。您需要了解您的安全选项：设置 Ranger 或基于存储的授权 (SBA)，它基于模拟和 HDFS 访问控制列表 (ACL)，或这些方法的组合。
Cloudera数据平台（CDP）是Cloudera的最新大数据产品。Apache HBase和Phoenix作为CDP平台的一部分。这两个组件以3种形态提供：
Cloudera 集群如何使用Kerberos工件，例如principal、keytab和委派令牌。
本文档描述如何使用多种安全管理工具来保护CDP环境。重点介绍安全管理工具与CDP环境之间的集成点，但不会探讨这些工具的核心功能。
在本系列的前几篇文章《配置客户端以安全连接到Kafka集群- Kerberos》和《配置客户端以安全连接到Kafka集群- LDAP》中，我们讨论了Kafka的Kerberos和LDAP身份验证。在本文中，我们将研究如何配置Kafka集群以使用PAM后端而不是LDAP后端。
在本系列的前几篇文章中，我们讨论了Kafka的Kerberos，LDAP和PAM身份验证。在这篇文章中，我们将研究如何配置Kafka集群和客户端以使用TLS客户端身份验证。
celery 是分布式任务队列，与调度工具 airflow 强强联合，可实现复杂的分布式任务调度，这就是 CeleryExecutor，有了 CeleryExecutor，你可以调度本地或远程机器上的作业，实现分布式任务调度。本文介绍如何配置 airflow 的 CeleryExecutor。
作为旨在支持大量和类型的数据的系统，Cloudera集群必须满足监管机构，政府，行业和公众提出的不断发展的安全要求。Cloudera集群包含Hadoop核心和生态系统组件，必须保护所有这些组件免受各种威胁，以确保所有集群服务和数据的机密性、完整性和可用性。
介绍了如何安装、配置、及使用，本文介绍如何如何部署一个健壮的 apache-airflow 调度系统 - 集群部署。
加密是使用数字密钥对各种组件（例如文本，文件，数据库，密码，应用程序或网络数据包）进行编码的过程，因此只有适当的实体（用户，系统进程等）才能进行解码（解密） ）项，然后查看，修改或添加到数据中。Cloudera提供了加密机制来保护持久保存在磁盘或其他存储介质上的数据（静态数据或简单地称为数据加密）以及在网络上移动时的数据（传输加密中的数据）。
授权是任何计算环境的基本安全要求之一。其目标是确保只有适当的人员或流程才能访问，查看，使用，控制或更改特定的资源，服务或数据。在使用各种CDH组件（Hive，HDFS，Impala等）部署来满足特定工作负载的任何集群中，不同的授权机制可以确保只有授权的用户或进程才能根据需要访问数据，系统和其他资源。理想情况下，授权机制可以利用身份验证机制，以便当用户登录系统（例如集群）时，将根据他们在系统中对应用程序，数据和其他资源的授权，对他们进行透明授权。。
Airflow能做什么 Airflow是一个工作流分配管理系统，通过有向非循环图的方式管理任务流程，设置任务依赖关系和时间调度。 Airflow独立于我们要运行的任务，只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。 安装和使用 最简单安装 在Linux终端运行如下命令 (需要已安装好python2.x和pip)： pip install airflow pip install "airflow[crypto, password]" 安装成功之后，执行下面三步，就可以使用了。默认是使
随着公司调度任务增大，原有的，基于crontab和mysql的任务调度方案已经不太合适了，需要寻找一个可以支持分布式扩容的调度系统解决方案。
本篇博客将总结 CDP 私有云基础（PvC Base）集群的安全架构。该架构反映了安全工程最佳实践的四大支柱：边界、数据、访问和可见性。CDP PvC Base的发布对安全架构进行了许多重大改进，包括：
Cloudera发布的Cloudera的数据平台（CDP）私有云基础版为用户提供了下一代混合云架构。这篇博文概述了设计和部署包含硬件和操作系统配置的集群的最佳实践，以及有关网络和安全以及与现有企业基础架构集成的指南。
Airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。AirFlow 将workflow编排为tasks组成的DAGs，调度器在一组workers上按照指定的依赖关系执行tasks。同时，Airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作，并且Airflow提供了监控和报警系统。
这是CDH/HDP/Apache Hadoop迁移到CDP系列的第一篇博客，如对迁移感兴趣，请关注该系列博客。
之前非常担心的一件事就是如果有人拿到了hdfs超级管理员帐号，直接把数据rm -rf怎么办？有了Kerberos，就可以轻松防止这样的事情发生。Kerberos 协议实现了比“质询－响应”模式协议更高的安全性：第一，在身份验证过程中，所有的数据都使用不同的密码进行加密，避免了相关验证信息的泄漏；第二，客户端和服务器会相互验证对方的身份，避免了 中间人攻击 ；第三，客户端和服务器间的时间差被严格限制，避免了 回放攻击 。与 WINDOWS 系统中的 用户安全令牌 类似， Kerberos 服务通过“ 加密的票据（防止篡改） ”验证用户身份和提供用户访问权限；Kerberos 服务可以通过使用 会话密钥 确保在会话中数据的机密性和完整性。
对Cloudera Manager功能的访问由指定身份验证机制和一个或多个用户角色的用户帐户 控制。用户角色确定经过身份验证的用户可以执行的任务以及该用户在Cloudera Manager管理控制台中可见的功能。除了默认用户角色，您还可以创建仅适用于特定集群的用户角色。
Airflow我们可以构建Workflow工作流，工作流使用DAG有向无环图来表示，DAG指定了任务之间的关系，如下图：
Cloudera于7月31日宣布正式发布CDH6.3，此版本提供了许多新功能，改进了可用性，性能提升以及对更现代的Java和身份管理基础设施软件的支持(Free IPA)。
在这篇文章中，将演示如何将 Kafka Connect 集成到 Cloudera 数据平台 (CDP) 中，从而允许用户在 Streams Messaging Manager 中管理和监控他们的连接器，同时还涉及安全功能，例如基于角色的访问控制和敏感信息处理。如果您是将数据移入或移出 Kafka 的开发人员、管理员或安全专家，那么这篇文章适合您。但在我介绍细节之前，让我们先从基础开始。
Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Active Directory安装证书服务并配置》、《03-Active Directory的使用与验证》、《04-如何在RedHat7上配置OpenLDAP客户端及集成SSSD服务和集成SSH登录》、《05-如何为Hive集成AD认证》、《06-如何为Impala集成AD认证》和《07-如何为Hue集成AD认证》。本篇文章Fayson主要介绍Navigator集成Active Directory认证。
本文介绍了Airflow这个开源框架，用于构建、管理和执行工作流。Airflow基于Python开发，利用Django、Flask等后端框架提供的Web接口，支持各种任务调度和错误处理机制。通过使用Python的类、函数和钩子，用户可以自定义和管理自己的工作流。Airflow还提供了丰富的客户端API，可以方便地与其他工具集成。同时，Airflow支持多租户，每个租户有自己的DAG和Task。Airflow还支持通过Celery将Task分布到多个机器上运行，以支持大规模并发处理。此外，Airflow还有丰富的监控和报警功能，可以实时监控Task和DAG的运行状态，并支持邮件报警。总之，Airflow是一个强大、灵活、易用的工作流框架，在数据科学和大数据处理领域具有广泛应用。
在未部署统一身份管理系统时，管理员需要分别在每一台主机上为对应的系统管理员创建、维护账号和密码，无法进行统一的管理。当主机数量增加到一定程度后，也将难以进行有效的安全管理，对账号密码泄露等问题难以进行控制。统一身份认证系统可以帮助我们解决这一问题。Windows环境下可以使用域账号进行身份管理，而在Linux环境下，FreeIPA可以快速、便捷的将linux系统接入，进行统一的身份认证和权限管理。
Fayson在前面一系列文章中介绍了AD的安装及与CDH集群中各个组件的集成，包括《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Active Directory安装证书服务并配置》、《03-Active Directory的使用与验证》、《04-如何在RedHat7上配置OpenLDAP客户端及集成SSSD服务和集成SSH登录》、《05-如何为Hive集成AD认证》、《06-如何为Impala集成AD认证》、《07-如何为Hue集成AD认证》、《08-如何为Navigator集成Active Directory认证》、《09-如何为CDSW集成Active Directory认证》和《如何为CDH集成Active Directory的Kerberos认证》。本篇文章Fayson主要介绍如何为Cloudera Manager集成Active Directory认证。
Cloudera Replication Manager（以下简称为 RM,旧版本的CM中简称为BDR）为数据迁移提供了一个集成式的易用管理解决方案，通过界面化的方式可以非常便捷的定义不同集群之间的数据复制操作 ，本文主要介绍如何配置及使用RM进行HDFS和Hive 复制
Kerberos是认证协议，它假设主机是可信任的，但是网络不是。Kerberos安全涉及三个关键实体：
Fayson在前面一系列文章中介绍了OpenLDAP的安装及与CDH集群中各个组件的集成，包括《1.如何在RedHat7上安装OpenLDA并配置客户端》、《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》、《3.如何RedHat7上实现OpenLDAP的主主同步》、《4.如何为Hive集成RedHat7的OpenLDAP认证》、《5.如何为Impala集成Redhat7的OpenLDAP认证》、《6.如何为Hue集成RedHat7的OpenLDAP认证》、《7.如何在RedHat7的OpenLDAP中实现将一个用户添加到多个组》、《8.如何使用RedHat7的OpenLDAP和Sentry权限集成》、《9.如何为Navigator集成RedHat7的OpenLDAP认证》、《10.如何在OpenLDAP启用MemberOf》、《11.如何为CDSW集成RedHat7的OpenLDAP认证》、《12.OpenLDAP管理工具Phpldapadmin的安装及使用》和《13.一键添加OpenLDAP用户及Kerberos账号》。本篇文章Fayson主要介绍如何为Cloudera Manager集成OpenLDAP认证。
Fayson在前面的文章介绍了如何为CDH集群启用Kerberos，在集群启用Kerberos后，会对现有环境的部分代码做改造，有些人觉得使用起来不方便，想取消Kerberos。本篇文章Fayson主要介绍如何禁用CDH集群的Kerberos及禁用后对各组件服务的测试。
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- Fayson在前面的文章介绍了如何为CDH集群启用Kerberos，在集群启用Kerberos后，会对现有环境的部分代码做改造，有些人觉得使用起来不方便，想取消Kerberos。本篇文章Fayson主要介绍如何禁用CDH集群的Kerberos及禁用后对各组件服务的测试。 注意：本文
请教一下，这个是cdp测试过程中，我这边想把hive命令默认client改为原来的hive cli，修改了use_beeline_for_hive_cli为false后,命令输入hive报了java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning,我尝试过将tez的jar包复制到hive 的lib目录下和修改hive-site.xml中的hive.server2.active.passive.ha.enable为fals
让我们从系统如何防止您绕过最无意义的安全功能开始。默认情况下，如果用户是本地管理员，LSASS 将过滤任何网络身份验证令牌以删除管理员权限。但是有一个重要的例外，如果用户是域用户和本地管理员，则 LSASS 将允许网络身份验证使用完整的管理员令牌。如果说您使用Kerberos在本地进行身份验证，这将是一个问题。这不是微不足道的 UAC 绕过吗？只需以域用户身份向本地服务进行身份验证，您就会获得绕过过滤的网络令牌？
介绍在未部署统一身份管理系统时，管理员需要分别在每一台主机上为对应的系统管理员创建、维护账号和密码，无法进行统一的管理。当主机数量增加到一定程度后，也将难以进行有效的安全管理，对账号密码泄露等问题难以进行控制。统一身份认证系统可以帮助我们解决这一问题。Windows环境下可以使用域账号进行身份管理，而在Linux环境下，FreeIPA可以快速、便捷的将linux系统接入，进行统一的身份认证和权限管理。
该处理器使用Hive流将流文件数据发送到Apache Hive表。传入的流文件需要是Avro格式，表必须存在于Hive中。有关Hive表的需求(格式、分区等)，请参阅Hive文档。分区值是根据处理器中指定的分区列的名称，然后从Avro记录中提取的。注意:如果为这个处理器配置了多个并发任务，那么一个线程在任何时候只能写入一个表。写入同一表的其他任务将等待当前任务完成对表的写入。
本篇博客将深入剖析Airflow的核心架构与使用方法，分享面试必备知识点，并通过代码示例进一步加深理解，助您在求职过程中得心应手地应对与Airflow相关的技术考察。
Cloudera从CM6.3版本开始，引入了Red Hat IdM来做整个集群的认证，Red Hat IdM对应的软件为FreeIPA，在本文中描述如何使用FreeIPA来做CDP-DC集群的认证。关于FreeIPA服务器搭建参考<使用FreeIPA对Linux用户权限统一管理>。之前的文章包括<使用FreeIPA为CDP DC7.1集群部署安全>,<CDP-DC中为CM集成FreeIPA提供的LDAP认证>,<在CDP-DC中Ranger集成FreeIPA的LDAP用户>。
Hadoop于2007年首次发布时，其目的是在受信任的环境中管理大量Web数据，因此安全性不是重点，也不是聚焦点。随着采用率的上升和Hadoop演变成企业技术，它逐渐发展成为一种不安全的平台而享有盛誉。最初的Hadoop安全性的大多数缺陷已在后续版本中得到解决，但感觉变化比较缓慢。Hadoop的安全声誉和现实远不匹配。
本文档描述Windows Server2008 R2（windows的内核版本是6.1，与windows 7相同）下安装Kerberos Client及FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的Web UI(如Namenode的50070，Yarn的8088)的过程。安装文档主要分为以下几步：
领取专属 10元无门槛券
手把手带您无忧上云
