首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

从nifi-registry创建新处理器组的Nifi rest命令?

Apache NiFi 是一个强大的工作流自动化工具,用于处理和分发数据流。NiFi Registry 是 NiFi 的一个组件,用于管理和版本控制 NiFi 流程。要使用 REST API 从 NiFi Registry 创建新的处理器组,你需要执行以下步骤:

基础概念

NiFi Registry: 是一个独立的服务,用于存储和管理 NiFi 流程的版本。

REST API: 一组标准的 HTTP 方法(如 GET, POST, PUT, DELETE),用于与网络服务交互。

处理器组: 在 NiFi 中,处理器组是一组处理器的逻辑集合,可以用来组织和管理流程。

相关优势

  • 版本控制: NiFi Registry 允许对流程进行版本控制,便于追踪变更和管理历史。
  • 共享和复用: 可以在不同的 NiFi 实例之间共享流程定义。
  • 集中管理: 提供了一个集中的地方来管理和维护流程。

类型

NiFi Registry 支持多种类型的资源,包括流程组、模板、扩展等。

应用场景

  • 企业级数据流管理: 在大型组织中,用于管理和监控复杂的数据流。
  • 自动化数据处理: 自动化数据的提取、转换和加载(ETL)过程。
  • 实时数据分析: 支持实时数据处理和分析。

创建新处理器组的 REST 命令

要创建一个新的处理器组,你需要向 NiFi Registry 发送一个 POST 请求。以下是一个基本的示例:

代码语言:txt
复制
curl -X POST "http://<nifi-registry-host>:<port>/nifi-registry-api/flows/process-groups/<parent-group-id>" \
-H "Content-Type: application/json" \
-d '{
    "component": {
        "name": "New Processor Group",
        "position": {
            "x": 0,
            "y": 0
        }
    }
}'

在这个命令中:

  • <nifi-registry-host><port> 需要替换为你的 NiFi Registry 实例的主机名和端口号。
  • <parent-group-id> 是父处理器组的 ID,新创建的处理器组将作为其子组。
  • name 字段是新处理器组的名称。
  • position 字段定义了新处理器组在界面上的位置。

遇到问题及解决方法

如果在执行上述命令时遇到问题,可能的原因包括:

  1. 权限问题: 确保你有足够的权限在指定的父组下创建新的处理器组。
  2. 网络问题: 检查网络连接是否正常,确保 NiFi Registry 实例可达。
  3. JSON 格式错误: 确保发送的 JSON 数据格式正确无误。
  4. 服务未运行: 确认 NiFi Registry 服务正在运行。

解决方法:

  • 检查并更新权限设置。
  • 使用工具如 pingtelnet 检查网络连接。
  • 使用在线 JSON 验证工具检查 JSON 数据的正确性。
  • 查看 NiFi Registry 的日志文件以获取更多错误信息。

通过这些步骤,你应该能够成功地使用 REST API 创建新的处理器组。如果问题仍然存在,建议查看 NiFi Registry 的官方文档或社区论坛以获取更多帮助。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Edge2AI之从边缘摄取数据

实验 2 - 创建一个流以使用 Cloudera Edge Flow Manager 从 MQTT broker收集数据并将其发布到 MiNiFi 代理。...为方便起见,我们将使用 NiFi 来运行脚本而不是 Shell 命令。 转到 Apache NiFi 并将处理器 (ExecuteProcess) 添加到画布。...打开 NiFi Registry:http://:18080/nifi-registry,单击右上角的扳手/扳手图标 ( ) 并创建一个名为IoT(注意: 存储桶名称是大小写敏感的...如果这两个温度都在正常范围内(的所有温度都是正确的,并且可以发送到 NiFi。 转至 CEM Web UI 并将新处理器添加到画布。...将一个新的处理器拖到画布上。在出现的对话框的过滤器框中,键入“Routeon”。选择RouteOnAttribute处理器并单击Add。

1.5K10
  • 如何使用NiFi等构建IIoT系统

    您认为构建一个先进的工业物联网原型需要多长时间: • 从传感器收集数据到每个工厂的网关 • 将传感器数据从一个或多个工厂移至云或数据中心 • 自动热部署新配置到所有边缘设备 • 支持大规模数据量和端到端安全性...在下面的块的最后一个命令中,我添加了MQTT处理器的NAR。...最后,添加一个远程进程组(RPG)以将使用的事件发送到NiFi。连接这三个处理器。 ? 现在,您的流程类似于以下屏幕截图。左侧的数据流将在NiFi中运行,以接收来自MiNiFi的数据。...REST API调用后的C2服务器日志 现在,体系结构的不同组件(MQTT,MiNiFi,NiFi和C2)之间的通信正在工作,请使用以下命令在Raspberry Pi上启动MiNiFi代理: ..../conf/config.yml中打开MiNiFi代理配置,您将找到我们从C2 Rest API中检索到的相同conf文件。 ?

    2.7K10

    Cloudera 流处理社区版(CSP-CE)入门

    Cloudera 流处理社区版 CSP 社区版使开发流处理器变得容易,因为它可以直接从您的桌面或任何其他开发节点完成。...Kafka Connect 还与 SMM 集成,因此您可以从 SMM GUI 全面操作和监控连接器部署。要运行新的连接器,您只需选择一个连接器模板、提供所需的配置并进行部署。...部署新的 JDBC Sink 连接器以将数据从 Kafka 主题写入 PostgreSQL 表 无需编码。您只需要在模板中填写所需的配置 部署连接器后,您可以从 SMM UI 管理和监控它。...NiFi 连接器 无状态的 NiFi Kafka 连接器允许您使用大量现有 NiFi 处理器创建 NiFi 流,并将其作为 Kafka 连接器运行,而无需编写任何代码。...使用无状态 NiFi 连接器,您可以通过直观地拖放和连接两个原生的 NiFi 处理器轻松构建此流程:CreateHadoopSequenceFile 和 PutS3Object。

    1.8K10

    有关Apache NiFi的5大常见问题

    MiNiFi是用于从远程位置的传感器和设备上收集数据子集的代理。目的是帮助进行数据的“第一英里收集”,并获取尽可能接近其来源的数据。...NiFi还基于可扩展框架构建,该框架为用户提供了简便的方法来扩展NiFi的功能并快速构建非常自定义的数据移动流。 大规模公开用于实时数据收集的REST API的最佳方法是什么?...我们的客户使用NiFi公开REST API,供外部来源将数据发送到目的地。最常见的协议是HTTP。...您可以轻松地在NiFi中使用不同的策略集定义多个流程组,因此您有一个专用于处理用例1的团队A的流程组,以及一个专用于用例2的团队B的流程组。考虑: NiFi确保不同的团队不应该访问其他流程组。...在流使用情况下,最好的选择是使用NiFi中的记录处理器将记录发送到一个或多个Kafka主题。

    3.2K10

    Edge2AI之NiFi 和流处理

    在本次实验中,您将实施一个数据管道来处理之前从边缘捕获的数据。您将使用 NiFi 将这些数据摄取到 Kafka,然后使用来自 Kafka 的数据并将其写入 Kudu 表。...创建处理组 在开始构建流程之前,让我们创建一个处理组来帮助组织 NiFi 画布中的流程并启用流程版本控制。...打开 NiFi Web UI,创建一个新的 Process Group 并将其命名为Process Sensor Data。 我们希望能够对我们将添加到处理组的流程进行版本控制。...创建流程 双击新创建的处理组将其展开。 在处理组内,添加一个新的Input Port并将其命名为“Sensor Data”。...创建流 我们现在将创建流程以从 Kafka 读取传感器数据,为每个传感器执行模型预测并将结果写入 Kudu。

    2.6K30

    使用 CSA进行欺诈检测

    对于此示例,我们可以简单地将 ListenUDP 处理器拖放到 NiFi 画布中,并使用所需的端口对其进行配置。可以参数化处理器的配置以使流可重用。...CML 提供了一个带有 REST 端点的服务,我们可以使用它来执行评分。当数据流经 NiFi 数据流时,我们希望调用数据点的 ML 模型服务来获取每个数据点的欺诈分数。...为此,我们使用 NiFi 的 LookupRecord,它允许针对 REST 服务进行查找。CML 模型的响应包含一个欺诈分数,由一个介于 0 和 1 之间的实数表示。...LookupRecord 处理器的输出,其中包含与 ML 模型的响应合并的原始交易数据,然后连接到 NiFi 中一个非常有用的处理器:QueryRecord 处理器。...Apache NiFi 的图形用户界面和丰富的处理器允许用户创建简单和复杂的数据流,而无需编写代码。交互式体验使得在开发过程中对流程进行测试和故障排除变得非常容易。

    2K10

    使用 Cloudera 流处理进行欺诈检测-Part 1

    对于这个例子,我们可以简单地将 ListenUDP 处理器拖放到 NiFi 画布中,并使用所需的端口对其进行配置。可以参数化处理器的配置以使流可重用。...CML 提供了一个带有 REST 端点的服务,我们可以使用它来执行评分。当数据流经 NiFi 数据流时,我们希望调用数据点的 ML 模型服务来获取每个数据点的欺诈分数。...为此,我们使用 NiFi 的 LookupRecord,它允许针对 REST 服务进行查找。CML 模型的响应包含一个欺诈分数,由一个介于 0 和 1 之间的实数表示。...LookupRecord 处理器的输出,其中包含与 ML 模型的响应合并的原始交易数据,然后连接到 NiFi 中一个非常有用的处理器:QueryRecord 处理器。...Apache NiFi 的图形用户界面和丰富的处理器允许用户创建简单和复杂的数据流,而无需编写代码。交互式体验使得在开发过程中测试流程和排除故障变得非常容易。

    1.6K20

    Apache NiFi安装及简单使用

    4、操作NIFI,启动的时候,比较慢,注意机器内存是否足够 后台启动命令:./bin/nifi.sh start 前端启动命令:./bin/nifi.sh run 关闭命令:....进程的StdOut被重定向,使得写入StdOut的内容成为出站FlowFile的内容。该处理器是源处理器 - 其输出预计将生成一个新的FlowFile,并且系统调用预期不会接收输入。...GetJMSTopic:从JMS主题下载消息,并根据JMS消息的内容创建一个FlowFile。也可以将JMS属性复制为属性。此处理器支持持久和非持久订阅。...每当一个新的文件进入HDFS,它被复制到NiFi中。该处理器仅在主节点上运行,如果在群集中运行。为了从HDFS中复制数据并保持原样,或者从集群中的多个节点流出数据,请参阅ListHDFS处理器。...这些处理器总是被期望彼此结合使用,并允许用户在NiFi内直观地创建Web服务。

    7.2K21

    Apache Nifi的工作原理

    Apache Nifi鸟瞰视图-Nifi从多个数据源中提取数据,对其进行充实并转换以填充到键值存储。 易于使用 处理器- 通过连接器连接的框- 箭头创建了流程。N iFi提供基于流的编程 体验。...从边缘到云的数据吸收和验证带来了NiFi有效解决的许多新挑战(主要是通过MiniFi ,用于边缘设备的NiFi项目) • 制定了 新的准则 和法规以重新调整大数据经济。...• 您希望您的同僚对您创建的新错误处理流程提供 反馈吗?NiFi决定将错误路径视为有效结果,这是一项设计决策。期望流程审查比传统的代码审查要短。 你应该使用NiFi吗? NiFi品牌本身就易于使用。...NiFi 写 时复制,它会在将内容复制到新位置时对其进行修改。原始信息保留在内容存储库中。 示例 考虑一个压缩FlowFile内容的处理器。原始内容保留在内容存储库中,并为压缩内容创建一个新条目。...从三个现有处理器构建一个新处理器 处理器组是从现有处理器创建新处理器的简便方法。 连接 连接是处理器之间的队列。这些队列允许处理器以不同的速率进行交互。

    4K10

    教程|运输IoT中的NiFi

    我们将创建一个NiFi DataFlow,以将数据从边缘的物联网(IoT)设备传输到流应用程序。 运输IoT用例中的NiFi 什么是NiFi? NiFi在此流处理应用程序中扮演什么角色?...便于使用 可视化命令和控制:实时可视化建立数据流,因此在数据流中进行的任何更改都将立即发生。这些更改仅隔离到受影响的组件,因此不需要停止整个流程或一组流程来进行修改。...将出现一个带有出处事件的表。一个事件说明了处理器对数据采取了哪种类型的操作。对于GetTruckingData,它将创建两个类别的传感器数据作为一个流。...NiFi组件 查看NiFi的核心概念,以了解有关创建NiFi DataFlow的NiFi组件的更多信息。...要添加新的控制器服务,请按表格右上方的“ +”图标。但是,由于已经创建了该服务,因此我们将对其进行引用,以查看用户如何将NiFi与Schema Registry连接。

    2.4K20

    大数据NiFi(六):NiFi Processors(处理器)

    NiFi Processors(处理器)为了创建高效的数据流处理流程,需要了解可用的处理器(Processors )类型,NiFi提供了大约近300个现成的处理器。...每个新的NiFi版本都会有新的处理器,下面将按照功能对处理器分类,介绍一些常用的处理器。...具体可参照官网查看更多的处理器信息:http://nifi.apache.org/docs/nifi-docs/html/getting-started.html#what-processors-are-available...一、数据提取GetFile:将文件内容从本地磁盘(或网络连接的磁盘)流式传输到NiFi,然后删除原始文件。...此处理器应将文件从一个位置移动到另一个位置,而不是用于复制数据。如果在集群中运行,此处理器需仅在主节点上运行。GetKafka:从Apache Kafka获取消息,封装为一个或者多个FlowFile。

    2.2K122

    大数据NiFi(十七):NiFi术语

    三、Processor 处理器是NiFi组件,用于监听传入数据、从外部来源提取数据、将数据发布到外部来源、路由,转换或从FlowFiles中提取信息。...五、Connection Connection可以将不同的Processor连接在一起创建自动的数据处理流程。...可以通过界面查看组和操作组中的组件。 十、Port 一般用于远程连接NiFi组使用。 十一、Remote Process Group 远程组可以实现将数据从一个NiFi实例传输到另一个NIFI实例。...虽然NiFi提供了许多不同的机制来将数据从一个系统传输到另一个系统,但是如果将数据传输到另一个NiFi实例,远程进程组实现是最简单方法。...十三、Template DataFlow由许多可以重用的组件组成,NiFi允许DFM选择DataFlow的一部分(或整个DataFlow)并创建模板,达到复用的目的。

    1.7K11

    0624-6.2.0-NiFi处理器介绍与实操

    3 NiFi处理器介绍 3.1 增加一个处理器(Processor) 1.我们现在可以通过在画布中添加Processor来开始创建数据流。 为此,请从屏幕左上角拖动“处理器”图标( ?...当开发人员创建Processor时,开发人员会为该处理器分配“tags”,可以认为是处理器的关键字。你可以通过在右上角的“filter”框中输入tag或者处理器的名称来进行过滤。...当你选择了一个处理器后,在对话框底部可以看到处理器的简要说明,告诉你处理器的具体功能。GetFile处理器的描述告诉我们它将数据从本地磁盘拉入NiFi,然后删除本地文件。...3.3 连接处理器 1.每个处理器都有一组定义的“Relationships”,它能够将数据发送到这些关系。处理器完成FlowFile的处理后,会将其传输到其中一个Relationships。...如果在整个过程中为每个连接配置了背压,则将数据引入系统的处理器最终会因为背压限制会停止引入新数据,以便我们的系统能够恢复。 ? 10.最后,你在右侧还可以看到Prioritizers。

    2.4K30

    Apache NIFI 讲解(读完立即入门)

    易于使用 Processors-boxes-通过连接器链接-箭头创建流程。NIFI提供了一个基于流的编程体验。 NIFI让我们一眼就能理解一组数据流操作,而这或许将需要数百行源代码来实现。...NIFI无缝地从多个数据源提取数据,并提供了处理数据中不同模式的机制。因此,当数据种类繁多时,它就非常适用了。 如果数据准确性不高,则NIFI尤其有价值。NIFI提供了多个处理器来清理和格式化数据。...对从边缘到云的数据的采集和验证带来了许多新挑战,NIFI可以有效应对这些挑战(主要是通过MiNIFI,针对边缘设备的NIFI项目) 制定了新的准则和法规以重新调整大数据经济。...你是否需要同行的反馈,以帮助你创建新的错误处理流程?NIFI决定将错误路径视为有效结果,这是一项设计决策。期望流程审查比传统的代码审查要短。 你应该使用它吗?或许吧 NIFI本身就易于使用。...原始内容会保留在内容存储库中,NIFI并为压缩内容创建一个新条目。 内容存储库最终将返回对压缩内容的引用。FlowFile里指向内容的指针被更新为指向压缩数据。

    15.4K92

    教程|运输IoT中的Kafka

    NiFi生产者 生产者实现为Kafka Producer的NiFi处理器,从卡车传感器和交通信息生成连续的实时数据提要,这些信息分别发布到两个Kafka主题中。...拥有多个代理的主要原因是要管理消息数据的持久性和复制,并在没有繁华的情况下进行扩展。 消费者组:来自相同组ID的消费者。 消费者:通过提取数据从经纪人读取数据。他们订阅1个或更多主题。 ?...如果Zookeeper已关闭,则我们从Cloudera Manager运行或打开该命令: /usr/hdf/current/kafka-broker/bin/zookeeper-server-start.sh...创建主题后,Kafka代理终端会发送一条通知,该通知可以在创建主题的日志中找到:“ /tmp/kafka-logs/” 启动生产者发送消息 在我们的演示中,我们利用称为Apache NiFi的数据流框架生成传感器卡车数据和在线交通数据...启动NiFi流程中的所有处理器(包括Kafka处理器),数据将保留在两个Kafka主题中。

    1.6K40

    大数据NiFi(八):NiFi集群页面的组件工具栏介绍

    NiFi集群页面的组件工具栏介绍一、处理器(Processor)处理器是最常用的组件,因为它负责数据的流入,流出,路由和操作,有许多不同类型的处理器,将处理器拖动到画布上时,会向用户显示一个对话框,以选择要使用的处理器类型...二、数据输入端口/输出端口(Input Port/Output Port)虽说是数据流输入点/流出点,但是并不是整体数据流的起点。它是作为组与组之间的数据流连接的传入点与输出点。...四、远程进程组(Remote Process Group)添加远程的组,与进程组类似。可以连接其他NiFi集群。...五、聚合(Funnel)可以将来自多个Connections连接的数据合并到一个Connection中。六、模板(Template)可以将若干组件组合在一起以形成更大的组,从该组创建数据流模版。...这些模板也可以导出为XML并导入到另一个NiFi实例中,从而可以共享这些组。七、标签(Label)标签用于为数据流的各个部分提供文档说明,可放置在画布空白处,写上备注信息。

    96771
    领券