Nifi + Hortonworks架构注册表+ Kerberos:需要401身份验证

Nifi是一个开源的数据流处理工具，它可以帮助用户在分布式环境中收集、处理和分发大量的数据。Nifi提供了一个可视化的界面，使用户能够轻松地构建数据流处理任务。

Hortonworks是一个提供企业级开源数据平台的公司，他们的核心产品是Hortonworks Data Platform（HDP），它是一个基于Apache Hadoop的分布式数据存储和处理解决方案。

架构注册表是Nifi中的一个重要概念，它用于管理和维护Nifi数据流处理任务的配置信息。通过架构注册表，用户可以集中管理各种数据流处理任务的配置，包括处理器、连接器、控制器服务等。

Kerberos是一个网络认证协议，它提供了强大的身份验证和安全通信功能。在Nifi和Hortonworks架构中，使用Kerberos进行身份验证可以增加系统的安全性，确保只有经过身份验证的用户才能访问和操作系统。

当Nifi和Hortonworks架构需要进行401身份验证时，意味着系统要求用户在访问和操作系统之前进行身份验证。这可以通过Kerberos来实现。用户需要提供有效的凭据（如用户名和密码）来验证其身份，只有通过身份验证的用户才能获得访问权限。

推荐的腾讯云相关产品和产品介绍链接地址：

腾讯云NAT网关：https://cloud.tencent.com/product/natgateway
腾讯云VPC：https://cloud.tencent.com/product/vpc
腾讯云CVM：https://cloud.tencent.com/product/cvm
腾讯云COS：https://cloud.tencent.com/product/cos
腾讯云CKafka：https://cloud.tencent.com/product/ckafka

请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

PutHiveStreaming

需要在nifi.properties中设置nifi.kerberos.krb5.file支持表达式语言:true（只用于变量注册表） Kerberos Keytab 与主体关联的Kerberos keytab...需要在nifi.properties中设置nifi.kerberos.krb5.file支持表达式语言:true（只用于变量注册表） true false 标志，指示是否应该自动创建分区Max Open...指定应该用于Kerberos身份验证的Kerberos凭证控制器服务Kerberos Principal Kerberos主体进行身份验证。...需要在nifi.properties中设置nifi.kerberos.krb5.file 支持表达式语言:true（只用于变量注册表）Kerberos Keytab 与主体关联的Kerberos keytab...需要在nifi.properties中设置nifi.kerberos.krb5.file 支持表达式语言:true（只用于变量注册表）连接关系名称描述 retry 如果传入的流文件的记录不能传输到

9793 0

教程|运输IoT中的NiFi

介绍本教程涵盖了Apache NiFi的核心概念及其在其中流量管理，易用性，安全性，可扩展架构和灵活扩展模型非常重要的环境中所扮演的角色。...这些更改仅隔离到受影响的组件，因此不需要停止整个流程或一组流程来进行修改。流程模板：一种构建和发布流程设计以使他人和协作受益的方法。数据来源：在数据流过系统时自动记录数据并建立索引。...用户到系统：启用2-Way SSL身份验证并提供可插入的授权，因此它可以适当地控制用户的访问权限和特定级别（只读，数据流管理器，admin）。...设置架构注册表控制器服务作为构建DataFlow的第一步，我们需要设置称为HortonworksSchemaRegistry的NiFi Controller Service 。...从上表中的配置中，我们可以看到允许NiFi与Schema Registry进行交互的URL，可以根据架构确定大小的缓存数量，以及直到架构缓存过期和NiFi必须与之通信所需的时间。架构注册表再次。

2.4K2 0

CDP PvC Base的参考架构

介绍和基本原理 Cloudera发布的Cloudera的数据平台（CDP）私有云基础版为用户提供了下一代混合云架构。...摄取的关键要求是 Kafka 代理角色和 Nifi 角色的许多专用磁盘。...一般来说，不支持多宿主，我们发现大多数 Hadoop 架构不应该需要它，因为它会导致大量 Hadoop 流量泄漏到错误的网络接口上，从而破坏非生产网络并影响性能。不支持 IPV6，应禁用IPV6。...身份验证和目录服务通常通过 kerberos 和 LDAP 的组合完成，这是有利的，因为它简化了密码和用户管理，同时与现有的企业系统（如 Active Directory）集成。...Kerberos 用作由单个主机角色组成的集群服务的主要身份验证方法，通常也用于应用程序。

1.1K1 0

HadoopSpark生态圈里的新气象

如果你想高效地查看数据，可能需要其他工具(比如Phoenix或Impala)。 3. Kerberos 我讨厌Kerberos，它也不是那么喜欢我。...你可以使用Ranger或Sentry等工具来减少麻烦，不过仍可能要通过Kerberos与活动目录进行集成。 4....Nifi /Kettle Nifi将不得不竭力避免仅仅是Oozie的改进版。诸多厂商声称Nifi是物联网的解决之道，不过那是营销声势而已。实际上，Nifi好比为 Hadoop与Spring整合。...你需要通过转换和队列来管道传输数据，然后按时间表将数据放在某个地方――或者基于触发器，处理来自诸多来源的数据。添加一个漂亮的图形用户界面(GUI)，Nifi就成了。...它写得很差劲;要是哪里出了问题，连基本的任务都会变成需要一周才搞得定。由于Nifi及其他工具取而代之，我没指望会大量使用Oozie。 MapReduce：Hadoop的这个处理核心在渐行渐远。

1.1K5 0

AvroReader

系统资源方面的考虑无深入讲解在NIFI的Controller Service中，有一批以Reader、Writer结尾的读写器。AvroReader顾名思义，就是读取avro格式数据的。...在NIFI的组件里比如ExecuteSQL AvroWriter等等都会设置把schema内置到avro数据里。...你可以直接在Schema Text的value里编辑schema文本，也可以在流文件属性或者变量注册表指定一个叫avro.schema的schema文本。...HWX Schema Reference Attributes HWX是hortonworks的缩写，选择这个配置，程序会默认读取流文件中的三个属性值：schema.identifier, schema.version...如果使用以上这两个配置，还得到官网上详情了解学习https://github.com/hortonworks/registry Confluent Content-Encoded Schema Reference

7363 0

0622-什么是Apache NiFi

Hortonworks公司收购了Onyara并将其开发者整合到自己的团队中，形成HDF（Hortonworks Data Flow）平台。...这种设计模式和seda架构类似，带来了很多好处，帮助NiFi成为构建强大的可扩展数据流高效的平台，包括：适用于可视化的创建和管理Processor。...4 NiFi架构 ? NiFi是基于Java的，NiFi的核心部件在JVM里的位置如上图所示： 1.Web Server 承载NiFi基于HTTP的命令和控制API。...4.流式QoS保障经常有一些数据是非常重要的不能够丢失，以及需要进行低延迟处理的。NiFi能够为这些数据流提供QoS保障服务。...6.4 可扩展架构 1.扩展 NiFi的核心是为扩展而构建的，因此它是一个数据流进程可以以可预测和可重复的方式执行和交互的平台。扩展点包括：处理器，控制器服务，报告任务，优先级排序器和用户界面。

2.3K4 0

教程|运输IoT中的Kafka

架构概述总体而言，我们的数据管道如下所示： ?...NiFi生产者生产者实现为Kafka Producer的NiFi处理器，从卡车传感器和交通信息生成连续的实时数据提要，这些信息分别发布到两个Kafka主题中。...trucking_data_traffic： /usr/hdf/current/kafka-broker/bin/kafka-topics.sh --create --zookeeper sandbox-hdf.hortonworks.com...要了解有关Storm Kafka集成的更多信息，请访问Storm Kafka Integration 附录：Kafka额外操作修改Kafka主题如果您需要修改Kafka主题，请运行以下命令： /usr...X代表您要更改主题的分区数如果需要删除Kafka主题，请运行以下命令： /usr/hdf/current/kafka-broker/bin/kafka-topics.sh --zookeeper localhost

1.5K4 0

看完您如果还不明白 Kerberos 原理，算我输！

除了用户之外，Hadoop 集群资源本身（例如主机和服务）需要相互进行身份验证，以避免潜在的恶意系统或守护程序 “冒充” 受信任的集群组件来获取数据访问权限。...Hadoop 使用 Kerberos 作为用户和服务的强身份验证和身份传播的基础。...Ambari Server user 为 Kerberos 启用集群时，组件 REST 端点（例如 YARN ATS 组件）需要 SPNEGO 身份验证。...Ambari Server 需要访问这些 API 并需要Kerberos主体才能通过 SPNEGO 针对这些 API 进行身份验证。.../HDPDocuments/HDP2/HDP-2.6.4/bk_security/content/kerberos_principals.html https://docs.hortonworks.com

13.9K7 4

【盘点】十大最受欢迎的开源大数据技术

Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。　　...3.NiFi——ApacheNiFi是由美国国家安全局(NSA)贡献给Apache基金会的开源项目，其设计目标是自动化系统间的数据流。...而且AWS还在创新，Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。...Forrester对Hadoop用户的调查显示，MapR的评级最高，其发行版在架构和数据处理能力上都获得了最高分。MapR已将一套特殊功能融入其Hadoop发行版中。...Forrester说MapR在Hadoop市场上没有Cloudera和Hortonworks那样的知名度，MapR要成为一个真正的大企业，还需要加强伙伴关系和市场营销。

1.6K9 0

保护Hadoop环境

还需要注意的是，来自软件供应商（例如Cloudera，Hortonworks，MapR）的商业Hadoop发行版具有附加的专有安全性，而免费提供的Apache Hadoop免费发行版中没有这些安全性。...为了最大程度地减少混乱，我们将重点关注三个基本领域：数据在存储（静止）时以及在网络中移动（移动中）时如何加密或以其他方式保护数据系统和用户在访问Hadoop基础架构中的数据之前如何进行身份验证 在环境中如何管理对不同数据的访问...快进到今天，企业用于其核心IT基础架构的用户身份验证和身份管理解决方案可以扩展到Hadoop环境。如今，Hadoop可在安全或非安全模式下进行配置。...主要区别在于安全模式要求对每个用户和服务进行身份验证。Kerberos是Hadoop安全模式下身份验证的基础。数据作为身份验证过程的一部分进行加密。...例如，影像诊所可能需要知道六个月内在一家机构中有多少患者接受了乳房X光检查，而无需知道患者的结果或完整的病史。患者结果数据将与需要不同权限的临床医生有关。

1.2K1 0

Ansible 客户端需求–设置Windows主机

仅当通过HTTPS与NTLM或Kerberos连接时，才使用CBT。 Service\CertificateThumbprint：这是用于加密与CredSSP身份验证一起使用的TLS通道的证书的指纹。...HTTP 401 /凭据被拒绝 HTTP 401错误表示身份验证过程在初始连接期间失败。...确保在以下ansiblewinrmtransport位置启用了设置的身份验证选项Service\Auth* 如果运行在HTTP和HTTPS不，使用ntlm，kerberos或credssp 与启用邮件加密...如果使用Kerberos身份验证，请确保Service\Auth\CbtHardeningLevel未将设置为Strict。使用基本或证书身份验证时，请确保该用户是本地帐户，而不是域帐户。...PSModulePathPSModulePath 从PSModulePath环境变量中删除UNC路径，或者使用支持凭据委派的身份验证选项，例如credssp或kerberos启用了凭据委派有关此问题的更多信息

10K4 1

2015 Bossie评选：最佳开源大数据工具

，用户代码通常不需要知道他在一个流媒体处理集群中运行。...我的意思是，每一个组件都有它自己的身份验证和授权实施，这与其他的平台没有集成。 2015年5月，Hortonworks收购XA /安全，随后经过了改名后，我们有了Ranger。...Ranger使得许多Hadoop的关键部件处在一个保护伞下，它允许你设置一个“策略”，把你的Hadoop安全绑定到到您现有的ACL基于活动目录的身份验证和授权体系下。...NiFi Apache NiFi 0.2.0 发布了，该项目目前还处于 Apache 基金会的孵化阶段。Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。...NiFi获得来来自业界的一致好评，包括Hortonworks CEO，Leverage CTO及Prescient Edge首席系统架构师等。 17.

1.5K9 0

Apache NiFi中的JWT身份验证

同时结合译文，参照NIFI(1.15)源码进行分析讲述举例说明本文目的深入对Apache NiFi的新版JWT身份验证深入理解。...为自定义外部应用程序访问使用了JWT身份验证的NIFI服务提供参考和开发依据。背景知识 JSON Web Tokens为众多Web应用程序和框架提供了灵活的身份验证和授权标准。...除了使用X.509证书的TLS双向认证外，jwt还支持大多数NiFi认证策略，包括LDAP、Kerberos、OpenID Connect和SAML。...在成功交换凭证之后，NiFi用户界面使用Local Storage存储JWT进行持久访问。基于令牌寿命和跨浏览器实例的持久存储，用户界面维护一个经过身份验证的会话，而不需要额外的访问凭据请求。...NiFi内容查看器等特性需要实现自定义的一次性密码身份验证策略，当浏览器试图加载高级用户界面扩展的资源时，也会导致访问问题。

4K2 0

AvroRecordSetWriter

系统资源方面的考虑无深入讲解在NIFI的Controller Service中，有一批以Reader、Writer结尾的读写器。...如果使用以上这两个配置，还得到官网上详情了解学习https://github.com/hortonworks/registry Confluent Schema Registry Reference 同上...，查询schema所需要的信息编码内置到了流文件内容当中，详细还需到官网了解学习http://docs.confluent.io/current/schema-registry/docs/serializer-formatter.html...Do Not Write Schema 不写shemale信息对于 Schema Access Strategy ,写avro数据也需要schema信息，此配置指明如何获取schema信息。...你可以直接在Schema Text的value里编辑schema文本，也可以在流文件属性或者变量注册表指定一个叫avro.schema的schema文本。

6182 0

用 Apache NiFi、Kafka和 Flink SQL 做股票智能分析

作者使用了 Cloudera 私有云构建，架构图如下： [股票智能分析] 本文是关于如何在实时分析中使用云原生应用程序对股票数据进行连续 SQL 操作的教程。...我们可以看到我们的数据在新的清理格式和我们需要的所有字段中的样子。...首先，我们需要在 Apache Hue 中从 CDP 或从脚本编写的命令行创建我们的 Kudu 表。 ...该环境让我可以看到所有不同的可用目录，包括注册表（Cloudera Cloud Schema Registry）、hive（云原生数据库表）和 kudu（Cloudera 实时云数据集市）表。 1....您可能需要添加Kerberos凭据。 flink-yarn-session -tm 2048 -s 2 -d 然后，启动命令行 SQL 客户端。

3.6K3 0

Kerberos相关问题进行故障排除| 常见错误和解决方法

身份验证 Oracle JDK 6 Update 26或更早版本无法读取由MIT Kerberos 1.8.1或更高版本创建的Kerberos凭证高速缓存。...required 在访问任何使用Kerberos加密配置的Web界面（例如Oozie作业设计器）之前，需要Kerberos HTTP身份验证（SPNEGO） javax.security.sasl.SaslException...某些服务需要一些密钥，例如MapReduce / HDFS需要HTTP密钥。...for cloudera@SEC.CLOUDERA.COM HTTP Status 401 - Authentication required 尝试连接之前，请先进行身份验证/ kinit。...对于Mac或Windows，请参阅以下说明：在Mac OS上为Safari配置SPNEGO Kerberos身份验证 从Windows客户端配置SPNEGO（Kerberos）身份验证到群集HTTP服务

43.3K3 4

Active Directory中获取域管理员权限的攻击方法

原因是，默认情况下，PowerShell 远程处理使用“网络登录”进行身份验证。网络登录通过向远程服务器证明您拥有用户凭证而不将凭证发送到该服务器来工作（请参阅Kerberos和NTLM身份验证）。...Mimikatz支持收集当前用户的 Kerberos 票证，或者为通过系统身份验证的每个用户收集所有 Kerberos 票证（如果配置了 Kerberos 无约束委派，这可能很重要）。...下次资源访问需要 Kerberos 票证时，注入的哈希（现在是内存中的 Kerberos 密钥）用于请求 Kerberos 票证。...请注意，智能卡不能防止凭据盗窃，因为需要智能卡身份验证的帐户具有关联的密码哈希，该哈希在后台用于资源访问。智能卡仅确保对系统进行身份验证的用户拥有智能卡。...此外，一旦为智能卡身份验证配置了帐户，系统就会为该帐户生成一个新密码（并且永远不会更改）。查看域管理员、域管理员、企业管理员、架构管理员和其他自定义 AD 管理员组中的所有帐户。

5.1K1 0

第83篇：HTTP身份认证401不同情况下弱口令枚举方法及java代码实现（上篇）

在日常的渗透测试及红队评估项目中，经常遇到http 401身份认证的情况，具体就是访问一个特定目录的时候，会弹出一个要求输入用户名密码的框框。...Part2 技术研究过程基础环境搭建 IIS中间件可以很方便地设置常用的HTTP 身份认证，本地搭建一个IIS环境，对需要身份认证的/fck目录进行权限设置，双击“身份验证”选项。...摘要式身份验证 接下来尝试一下“摘要式身份验证”，IIS中间件下的开启摘要式身份验证需要加入域环境，于是ABC_123安装了一个域控虚拟机，域名为test111.com。...此时目标url的/fck目录不能以ip地址形式访问，需要以计算机名的形式浏览，此时发现不需要输入用户名及密码就可以直接访问/fck目录。...对于HTTP身份验证的弱口令审计，需要仔细分析服务器返回消息头中的WWW-Authenticate字段。 2.

3011 0

从iis认证方式的学习到一个路由器漏洞的调试

1 IIS的各种身份验证介绍 IIS网站默认是允许所有用户连接，如果网站的只需要针对特定用户来开放的话，就需要对用户进行验证，而进行验证的主要方法有： ? 匿名身份验证 ?...在这里不多提，下面给一段官方的话作为了解~ 如果您希望客户端使用 NTLM 或 Kerberos 协议进行身份验证，则应使用 Windows 身份验证。...Windows 身份验证同时包括 NTLM 和 Kerberos v5 身份验证，它最适用于 Intranet 环境，其原因如下： 1. 客户端计算机和 Web 服务器位于同一个域中。 2....不需要不受 NTLM 支持的 HTTP 代理连接。 4. Kerberos v5 需要连接到 Active Directory，这在 Internet 环境中不可行。...总结：在一些需要身份验证的地方，Windows 集成身份验证和摘要式身份验证，因为使用条件限制，在个人网站中运用很少，所以我们更多的使用的是基本身份验证！

8545 0

内网渗透 | 了解和防御Mimikatz抓取密码的原理

：修改注册表锁屏进入循环，判断当前系统是否结束锁屏状态用户登录后，跳出循环等待，立即导出明文口令并保存所以这里需要实现以下几个步骤，这里因为本人水平有限，所以这个地方参考了三好学生大佬的powershell...DDC的发明其实是kerberos的衍生，因为在kerberos协议中会有域成员暂时访问不到域控的情况出现，而DDC的发明就是为了方便域成员在访问不到域控的情况下诞生的。...这个安全组的设置就是为了防止明文存储在内存中和ntlm hash的泄露，原因大概是因为通过kerberos认证会更安全。加入的方法也比较简单，只需要把需要保护的用户添加进这个受保护的用户组即可。 ?...有了这种保护，建立 RDP 会话将不需要提供关联的密码；相反，用户的 NTLM Hash 或 Kerberos 票证将用于身份验证。...Restricted Admin Mode的使用需要客户端和服务端相互配合，在服务端开启需要在注册表中添加如下键值 REG ADD "HKLM\System\CurrentControlSet\Control

6.7K1 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云