首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何调用NIFI REST API启动/停止生成流文件

NIFI是一个开源的数据集成工具,它提供了一套REST API,可以通过调用这些API来启动/停止生成流文件。

要调用NIFI REST API启动/停止生成流文件,可以按照以下步骤进行操作:

  1. 首先,确保你已经安装了NIFI,并且NIFI服务正在运行。
  2. 使用HTTP客户端(如Postman、cURL等)发送HTTP请求到NIFI的REST API端点。API端点的URL通常是http://<nifi-host>:<nifi-port>/nifi-api,其中<nifi-host>是NIFI服务器的主机名或IP地址,<nifi-port>是NIFI服务的端口号。
  3. 调用API的/process-groups/{id}端点,其中{id}是要启动/停止的流文件生成器所在的流程组的ID。可以通过调用/flow/process-groups端点获取所有流程组的信息,并找到目标流程组的ID。
  4. 对于启动生成流文件,发送一个HTTP POST请求到/process-groups/{id}/processors/{processor-id}端点,其中{processor-id}是要启动的生成器的ID。在请求的正文中,可以指定一些参数来配置生成器的行为。
  5. 对于停止生成流文件,发送一个HTTP DELETE请求到/process-groups/{id}/processors/{processor-id}端点,其中{processor-id}是要停止的生成器的ID。

调用NIFI REST API启动/停止生成流文件的示例代码如下(使用Python的requests库):

代码语言:txt
复制
import requests

nifi_host = "<nifi-host>"
nifi_port = "<nifi-port>"
process_group_id = "<process-group-id>"
processor_id = "<processor-id>"

# 启动生成流文件
start_url = f"http://{nifi_host}:{nifi_port}/nifi-api/process-groups/{process_group_id}/processors/{processor_id}"
response = requests.post(start_url)
if response.status_code == 200:
    print("成功启动生成流文件")
else:
    print("启动生成流文件失败")

# 停止生成流文件
stop_url = f"http://{nifi_host}:{nifi_port}/nifi-api/process-groups/{process_group_id}/processors/{processor_id}"
response = requests.delete(stop_url)
if response.status_code == 200:
    print("成功停止生成流文件")
else:
    print("停止生成流文件失败")

请注意,上述示例代码中的<nifi-host><nifi-port><process-group-id><processor-id>需要替换为实际的值。

NIFI的优势在于其灵活性和可扩展性,可以轻松地构建和管理数据流。它适用于各种数据集成场景,包括数据传输、数据转换、数据路由等。腾讯云提供了类似的云计算产品,如云数据集成(Data Integration)等,可以帮助用户在云上快速搭建和管理数据集成流程。

更多关于NIFI的信息和腾讯云相关产品介绍,请参考以下链接:

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Apache NiFi 简介及Processor实战应用

• FlowFile Repository:FlowFile库的作用是NiFi跟踪记录当前在中处于活动状态的给定文件的状态,其实现是可插拔的,默认的方法是位于指定磁盘分区上的一个持久的写前日志。...3.3 运行状态监控 NiFi通过Rest API供开发者调度,这里我们用Processor API对运行状态进行监控(状态参数获取、Processor的启动停止)。 1....Processor的启动停止NiFi的Processor启动停止通过其Put方法实现,Put最有效的作用是改变其运行状态,NiFi的Process总共有三种状态,即Running、Stopped和...那么我们将开始和停止两个命令Rest API的放在脚本中执行即可。...• 启动命令(使用Rest API的Put方法): curl -i -X PUT -H ‘Content-Type:application/json’ -d ‘ { “revision”: { “clientId

7.3K100

如何使用NiFi等构建IIoT系统

由于许多MiNiFi代理在地理位置分散的工厂上运行,因此无法手动停止、编辑config.yml,然后在每次需要更改其配置时重新启动每个代理。...C2 Rest API调用的结果 如果查看C2日志,则可以看到服务器收到带有参数{class = [iot-minifi-raspberry-agent],version = [1]}的查询。 ?...REST API调用后的C2服务器日志 现在,体系结构的不同组件(MQTT,MiNiFi,NiFi和C2)之间的通信正在工作,请使用以下命令在Raspberry Pi上启动MiNiFi代理: ..../conf/config.yml中打开MiNiFi代理配置,您将找到我们从C2 Rest API中检索到的相同conf文件。 ?...MiNiFi代理启动后的MQTT日志 完善!IIoT系统运行得像灵符。现在,让我们启动传感器以生成数据并将其发布在MQTT中。

2.6K10

NIFI 开发注解详述

阅读这篇文章之前如果对Java注解没有什么深入了解,建议看一哈Java注解 开始之前,看一下源码结构,nifi的注解都是在nifi-api moudle中的。 ?...{@code Restricted}组件可以用来执行操作员通过NiFi REST API/UI提供的任意未消毒的代码,也可以用来使用NiFi OS凭证获取或修改NiFi主机系统上的数据。...ProcessSession 使用此注释时,需要注意的是,对ProcessSession.commit()的调用可能无法保证数据已安全存储在NiFi的内容存储库或文件存储库中。...发生这种情况的方式有两种:一种是用户单击以调度组件运行,另一种是将“自动恢复状态”配置设置为true(默认值)重新启动NiFi,并且组件已经在运行。...每次组件停止时,都将调用标记了此注释的方法,并且仅在从onTrigger方法返回最后一个线程后才调用 这意味着在这个方法中执行的线程将是处理器任何部分中唯一执行的线程。

3.3K31

探索 Apache NIFI 集群的高可用

分别启动三个NIFI节点: ? 集群启动成功 ? 模拟流程搭建 拉取GenerateFlow(用于生成文件)和LogAttribute(打印日志,输出文件属性)两个组件。...探索集群节点失联后文件的分布 由上面的流程截图状态我们看到当前流程里集群有3个节点,一共有111个文件,现在我们手动停止一个NIFI节点,模拟因未知原因节点失联 ?...(这里就省略了查看失联节点是否有37个文件的描述,如果你要查看验证的话,首先将集群所有节点停止,然后启动我们模拟失联的那个节点,等到它启动成功后,这就是一个因为某些原因与集群失联的但仍在运行的节点)...23:40:--,并且我是在停止NIFI集群后才启动那个失联节点的。...可以看到,设置为主节点运行的GenerateFlow仍在运行生成文件。 而失联节点在观察了几分钟后,GenerateFlow都没有生成文件。 ?

1.9K40

Cloudera 处理社区版(CSP-CE)入门

在 CSP 中,Kafka 作为存储流媒体底层,Flink 作为核心处理引擎,支持 SQL 和 REST 接口。...有关 CSP-CE 的完整实践介绍,请查看CSP-CE 文档中的安装和入门指南,其中包含有关如何安装和使用其中包含的不同服务的分步教程。...要启动并运行它,您只需要下载一个小的 Docker-compose 配置文件并执行一个命令。如果您按照安装指南中的步骤进行操作,几分钟后您就可以在笔记本电脑上使用 CSP 堆栈。...在 SMM 中创建主题 列出和过滤主题 监控主题活动、生产者和消费者 Flink 和 SQL 生成器 Apache Flink 是一个强大的现代分布式处理引擎,能够以极低的延迟和高吞吐量处理数据...现有的 S3 连接器可能都不生成 SequenceFile。

1.8K10

使用 CSA进行欺诈检测

在这篇博客中,我们将展示一个真实的例子来说明如何做到这一点,看看我们如何使用 CSP 来执行实时欺诈检测。 构建实时分析数据管道需要能够处理中的数据。...在第一部分中,我们将研究由 Apache NiFi 提供支持的Cloudera DataFlow如何通过轻松高效地获取、转换和移动数据来解决第一英里问题,以便我们可以轻松实现分析用例。...对于每笔交易,NiFi 都会调用 Cloudera 机器学习 (CML) 中的生产模型来评估交易的欺诈潜力。...CML 提供了一个带有 REST 端点的服务,我们可以使用它来执行评分。当数据流经 NiFi 数据时,我们希望调用数据点的 ML 模型服务来获取每个数据点的欺诈分数。...为此,我们使用 NiFi 的 LookupRecord,它允许针对 REST 服务进行查找。CML 模型的响应包含一个欺诈分数,由一个介于 0 和 1 之间的实数表示。

1.9K10

使用 Cloudera 处理进行欺诈检测-Part 1

在这篇博客中,我们将展示一个真实的例子来说明如何做到这一点,看看我们如何使用 CSP 来执行实时欺诈检测。 构建实时分析数据管道需要能够处理中的数据。...在第一部分中,我们将研究由 Apache NiFi 提供支持的Cloudera DataFlow如何通过轻松高效地获取、转换和移动数据来解决第一英里问题,以便我们可以轻松实现分析用例。...对于每笔交易,NiFi 都会调用 Cloudera 机器学习 (CML) 中的生产模型来评估交易的欺诈潜力。...CML 提供了一个带有 REST 端点的服务,我们可以使用它来执行评分。当数据流经 NiFi 数据时,我们希望调用数据点的 ML 模型服务来获取每个数据点的欺诈分数。...为此,我们使用 NiFi 的 LookupRecord,它允许针对 REST 服务进行查找。CML 模型的响应包含一个欺诈分数,由一个介于 0 和 1 之间的实数表示。

1.5K20

有关Apache NiFi的5大常见问题

您可以通过以下方式确定何时使用NiFi和何时使用Kafka。 Kafka设计用于主要针对较小文件的面向的用例,然而摄取大文件不是一个好主意。...NiFi还基于可扩展框架构建,该框架为用户提供了简便的方法来扩展NiFi的功能并快速构建非常自定义的数据移动。 大规模公开用于实时数据收集的REST API的最佳方法是什么?...我们的客户使用NiFi公开REST API,供外部来源将数据发送到目的地。最常见的协议是HTTP。...当您在NIFi中收到查询时,NiFi会针对FTP服务器进行查询以获取文件,然后将文件发送回客户端。 使用NiFi,所有这些独特的请求都可以很好地扩展。...NiFi是否可以很好地替代ETL和批处理? 对于某些用例,NiFi当然可以代替ETL,也可以用于批处理。但是,应该考虑用例所需的处理/转换类型。在NiFi中,文件是描述流过事件、对象和数据的方式。

3K10

Edge2AI之NiFi处理

这也将允许我们在未来Schema发送变化,如果需要的话,将旧版本保持在版本控制之下,以便现有的文件将继续工作。 转到以下 URL,其中包含我们将用于本实验的架构定义。...在NiFi Flow画布全选,然后点击Play按钮,将所有的处理器和输入端口启动。...再次启动NiFi ExecuteProcess模拟器并确认您可以看到 NiFi 中排队的消息。让它运行。...确认 Kafka 主题中有数据,并且看起来像传感器模拟器生成的 JSON。 再次停止NiFi ExecuteProcess模拟器。...实验 4 - 使用 NiFi 调用 CDSW 模型端点并保存到 Kudu 在本实验中,您将使用 NiFi 消费包含我们在上一个实验中摄取的 IoT 数据的 Kafka 消息,调用 CDSW 模型 API

2.5K30

用 Apache NiFi、Kafka和 Flink SQL 做股票智能分析

我想使用 Apache NiFi 读取 REST API 来频繁地跟踪一些公司的股票。...如何通过 10 个简单步骤构建智能股票数据 使用调度从源中检索数据(例如:InvokeHTTP针对 SSL REST Feed - 比如 TwelveData)。...我现在可以在几秒钟内在这张桌子上启动一个 Cloudera 可视化应用程序。 现在我们可以在 Flink 中构建我们的分析应用程序。...如何通过 10 个简单步骤构建智能股票分析 我可以从命令行 Flink SQL Client 连接到 Flink SQL 开始探索我的 Kafka 和 Kudu 数据,创建临时表,并启动一些应用程序(...数据血缘和治理 我们都知道 NiFi 拥有深厚的数据血缘,可以通过 REST、报告任务或 CLI 推送或拉取,以用于审计、指标和跟踪。

3.5K30

教程|运输IoT中的NiFi

具有背压和泄压功能的数据缓冲:如果将数据推送到队列中达到指定的限制,则NiFi停止进程将数据发送到该队列中。数据达到一定期限后,NiFi会终止数据。...让我们选择整个数据。保持命令或Ctrl和A,将选择整个数据。在“操作面板”中,单击“开始”按钮,让其运行1分钟。数据中每个组件的拐角处的红色停止符号将变为绿色播放符号。...让我们分析处理器通过NiFi的数据来源采取的行动: 取消选择整个数据,然后右键单击GetTruckingData:生成两种类型的数据:TruckData和TrafficData。单击查看数据源。...让我们深入了解配置控制器服务和配置处理器的过程,以了解如何构建此NiFi DataFlow。...现在,您将了解NiFi在Trucking-IoT演示应用程序的数据管道中扮演的角色,以及如何创建和运行数据

2.3K20

教程|运输IoT中的Kafka

主题:属于类别的消息,分为多个分区。一个主题必须至少具有一个分区。 分区:消息具有不可变的序列,并实现为大小相等的段文件。他们还可以处理任意数量的数据。 分区偏移量:分区消息中的唯一序列ID。...创建主题后,Kafka代理终端会发送一条通知,该通知可以在创建主题的日志中找到:“ /tmp/kafka-logs/” 启动生产者发送消息 在我们的演示中,我们利用称为Apache NiFi的数据框架生成传感器卡车数据和在线交通数据...,对其进行处理并集成Kafka的Producer API,因此NiFi可以将其文件的内容转换为可以发送给Kafka的消息。...启动消费者以接收消息 在我们的演示中,我们利用称为Apache Storm的处理框架来消耗来自Kafka的消息。...现在,您将了解Kafka在演示应用程序中扮演的角色,如何创建Kafka主题以及如何使用Kafka的Producer API和Kafka的Consumer API在主题之间传输数据。

1.5K40

0624-6.2.0-NiFi处理器介绍与实操

画面,可以看到一个用于编排数据的空白画布。...假设我们想把本地磁盘的文件导入NiFi,可以输入关键字“file”,NiFi默认提供了一些处理文件的不同处理器,或者也可以输入“local”来快速缩小列表范围。...点击“APPLY”将关闭对话框并显示两个处理器现在都已停止。 ? ? 3.4 启动停止处理器 1.此时,我们的画布上有两个处理器,但没有发生任何事情。...4.启动后,处理器左上角的图标将从停止的图标更改为正在运行的图标。 ? 5.然后你可以通过Operate palette中的“Stop”图标,或者右键菜单中的“Stop”菜单项来停止处理器。 ? ?...6.处理器启动后,我们无法再配置它。当我们右键点击处理器,则只能选择查看配置。为了配置处理器,我们必须首先停止处理器并等待可能正在执行的任何任务完成。

2.4K30

大数据NiFi(十七):NiFi术语

NiFi术语 一、DataFlow Manager DataFlow Manager(DFM)是NiFi用户,具有添加,删除和修改NiFi数据组件的权限。...这些关系指示如何对FlowFile进行处理:处理器处理完FlowFile后,它会将FlowFile路由(传输)到其中一个关系。...六、Controller Service 控制器服务是扩展点,在用户界面中由DFM添加和配置后,将在NiFi启动启动,并提供给其他组件(如处理器或其他控制器服务)需要的信息。...此外,NiFi在更新时会自动备份此文件,您可以使用这些备份来回滚配置,如果想要回滚,先停止NiFi,将flow.xml.gz替换为所需的备份,然后重新启动NiFi。...在集群环境中,停止整个NiFi集群,替换其中一个节点的flow.xml.gz,删除自其他节点的flow.xml.gz,然后重启集群,节点之间会自动同步"flow.xml.gz"备份文件

1.6K11

Apache NIFI ExecuteScript组件脚本使用教程

本文中的内容包括: Introduction to the NiFi API and FlowFiles 从传入队列中获取文件 创建新的文件 使用文件属性 传输文件 日志 FlowFile I/...这些变量的交互是通过NiFi Java API完成的,下面会介绍相关的API调用,比如对流文件执行各种功能(读/写属性,路由关系,记录等)。请注意,这些示例只是demo,不能按原样运行。...属性是关于内容/文件的元数据,我们在上一章看到了如何使用ExecuteScript来操作它们。文件的内容只是字节的集合,而没有固有的结构、模式、格式等。...各种NiFi处理器假定传入的文件具有特定的模式/格式(或根据诸如mime.type类型或者以其他方式推断)。...文件内容的输入和输出(I/O)是通过ProcessSession API提供的,因此ExecuteScript的"session"变量也是如此。

5.3K40

PutHiveStreaming

默认情况下(false),如果在处理一个文件时发生错误,该文件将根据错误类型路由到“failure”或“retry”关系,处理器可以继续处理下一个文件。...相反(true),将回滚当前处理的文件并立即停止进一步的处理,在这种情况下,失败的文件将保留在输入关系中,而不会对其进行惩罚,并重复处理,直到成功处理或通过其他方法删除它。...默认情况下(false),如果在处理一个文件时发生错误,该文件将根据错误类型路由到“failure”或“retry”关系,处理器可以继续处理下一个文件。...相反(true),将回滚当前处理的文件并立即停止进一步的处理,在这种情况下,失败的文件将保留在输入关系中,而不会对其进行惩罚,并重复处理,直到成功处理或通过其他方法删除它。...需要在nifi.properties中设置nifi.kerberos.krb5.file 支持表达式语言:true(只用于变量注册表) 连接关系 名称 描述 retry 如果传入的文件的记录不能传输到

97930
领券